Passavant war ein Sohn des Frankfurter Kaufmanns Johann David Passavant (1756–1800) und dessen Frau Catharina Elisabetha geb. Gogel. Wie sein Jugendfreund Franz Pforr interessierte er sich für die Malerei, absolvierte jedoch auf Wunsch seines Vaters eine kaufmännische Lehre im elterlichen Betrieb. Zwischen 1809 und 1813 hielt er sich zur weiteren Ausbildung in Paris auf, wo er die im Musée Napoléon zusammengetragenen Kunstwerke kennenlernte. Nach Pforrs Tod 1812 entschied er sich endgültig für eine Künstlerlaufbahn und ging im Jahr darauf zum ersten Mal nach Italien. In Rom wurde er von dem kunstbegeisterten BaronKarl Friedrich von Rumohr mit florentinischer Malerei bekanntgemacht. 1813 bis 1815 nahm er als Freiwilliger an den Befreiungskriegen teil. 1815 bis 1817 hielt er sich erneut in Paris auf, wo er Schüler in den Lehrateliers von Jacques-Louis David und Antoine-Jean Gros war. Im Herbst 1817 reiste er erneut nach Rom, wo er Zugang zum Kreis der Nazarener fand. Er war befreundet mit Peter von Cornelius, Ferdinand Olivier, Friedrich Overbeck, Johann Anton Ramboux, Julius Schnorr von Carolsfeld, Wilhelm von Schadow und Philipp Veit und förderte den vielversprechenden Maler Carl Philipp Fohr.
Passavant erkannte, dass sein Talent für eine künstlerische Laufbahn nicht ausreichte und malte selbst nur wenig. Stattdessen konzentrierte er sich auf die Kunstwissenschaft und erkannte als einer der Ersten die herausragende Bedeutung Giottos für die Entwicklung der abendländischen Malerei. 1820 erschien sein erstes Werk Ansichten über die bildenden Künste und Darstellung des Ganges der selben in Toscana.
Im Sommer 1824 kehrte Passavant nach Frankfurt zurück. In den folgenden 10 Jahren besuchte er mit Unterstützung des 1816 gegründeten Städelschen Kunstinstituts zahlreiche öffentliche und private Sammlungen, um das Werk Raffaels kennenzulernen. 1839 erschienen die ersten beiden Bände seiner MonographieRaffael von Urbino und sein Vater Giovanni Santi. Ein dritter Band folgte 1859.
1840 wurde Passavant zum Inspektor des Städelschen Kunstinstituts ernannt. In dieser Stellung ordnete er die Sammlung nach kunsthistorischen Kriterien neu und leistete Außergewöhnliches als Entdecker und Aufkäufer spätmittelalterlicher Maler bzw. ihrer Kunstwerke. Zu den unter seiner Leitung erworbenen Werken gehört die Lucca-Madonna des Jan van Eyck und die Tafeln des Meisters von Flémalle. Daneben erwarb er zahlreiche Druckgraphiken und Zeichnungen, welche die graphische Sammlung des Städel zu einer der bedeutendsten in Deutschland machten. Passavant gilt als einer der Gründer der modernen Kunst- und Museumswissenschaft.
Für die Kaisergalerie des Frankfurter Römer malte und stiftete er das Bildnis Kaiser Heinrich II. Sein Selbstbildnis und andere Werke sind im Besitz des Städel. Der Nachlass wird im Archiv des Städel und im Institut für Stadtgeschichte verwahrt. Nach ihm ist die Passavantstraße in Sachsenhausen benannt.
Werke
Ansichten über die bildenden Künste und Darstellung des Ganges der selben in Toscana; zur Bestimmung des Gesichtspunctes, aus welchem die neudeutsche Malerschule zu betrachten ist. Von einem deutschen Künstler in Rom. August Oswald, Heidelberg/Speyer 1820.
Kunstreise durch England und Belgien nebst einem Bericht über den Dombau zu Frankfurt am Main (1833)
Rafael von Urbino und sein Vater Giovanni Santi. Erster und Zweiter Theil, Leipzig: Brockhaus 1839, Dritter Theil, Leipzig: Brockhaus 1858
Verzeichnis der öffentlich ausgestellten Kunst-Gegenstände des Städelschen Kunstinstituts (1844)
Nina Struckmeyer: Passavant, Johann David. In: Bénédicte Savoy, France Nerlich (Hrsg.): Pariser Lehrjahre. Ein Lexikon zur Ausbildung deutscher Maler in der französischen Hauptstadt. Band 1: 1793-1843. De Gruyter, Berlin/Boston 2013, ISBN 978-3-11-029057-8, S. 222–225.