Cominciò a lavorare come assistente di Johann Franz Encke nel 1835, subito dopo il completamento dell'Osservatorio di Berlino. Nel 1851 si mosse verso Breslavia per diventare professore di astronomia e divenne presto direttore dell'osservatorio locale.
Durante la sua carriera studiò le comete e nel 1894 (con l'aiuto di suo figlio Andreas Galle) pubblicò una lista di 414 comete. Egli stesso precedentemente scoprì tre comete (dal 2 dicembre 1839 al 6 marzo 1840).
Prima osservazione di Nettuno
L'ipotesi di Galle sulla presenza di un nuovo corpo planetario, messa a punto nel 1845, derivava da una riduzione e una discussione critica delle osservazioni di Ole Rømer dei transiti meridiani delle stelle e dei pianeti, eseguite nei giorni dal 20 ottobre al 23 ottobre 1706.
Intorno al 1845, Galle, trasmise una copia delle sue considerazioni a Urbain Le Verrier, ma ebbe una risposta soltanto l'anno successivo, il 18 settembre 1846. Le Verrier raggiunse Galle il 23 settembre dello stesso anno e gli suggerì di osservare una determinata regione del cielo per trovare il nuovo pianeta, in grado di spiegare le perturbazioni nell'orbita di Urano. La stessa notte, dopo che Encke, nonostante il suo scetticismo, gli diede il permesso, fu trovato un oggetto che, nelle successive due serate di osservazioni, si confermò essere l'ottavo pianeta del sistema solare: Nettuno.