Jordan werd geboren in een klein dorp in het zuiden van Duitsland. Hij studeerde aan het Polytechnisch Instituut in Stuttgart waar hij, na twee jaar als assistent ingenieur in de voorbereiding van de spoorwegaanleg gewerkt gewerkt te hebben, terugkeerde als assistent in de landmeetkunde. In 1868 werd hij, 26 jaar oud, benoemd tot hoogleraar aan de Universiteit van Karlsruhe. In 1874 nam Jordan deel aan de expeditie van Friedrich Gerhard Rohlfs naar Libië. Van 1881 tot aan zijn dood was hij hoogleraar in de landmeetkunde en praktische meetkunde aan de technische universiteit van Hannover. Hij was een productief schrijver; zijn meest bekende werk was zijn Handbuch der Vermessungskunde (Tekstboek van de landmeetkunde.)
Onder wiskundigen wordt hij voornamelijk herinnerd door zijn bijdrage aan het Gauss-Jordaneliminatie algoritme, waar Jordan de stabiliteit van dit algoritme wist te verbeteren, zodanig dat dit algoritme kon worden toegepast om de gekwadrateerde fout bij het landmeten te minimaliseren. Deze algebraïsche techniek verscheen voor het eerst in de derde editie van zijn Handbuch der Vermessungskunde (1888).
