Saint-Didier liegt etwa 60 Kilometer nordwestlich von Nevers. Die Yonne begrenzt die Gemeinde im Osten. Nachbargemeinden von Saint-Didier sind Tannay im Norden und Nordwesten, Flez-Cuzy im Norden und Osten, Dirol im Südosten sowie Lys im Süden und Westen.