Născut la Paris într-o familie proeminentă catolică și orleanistă(d) (susținători ai monarhiei constituționale), Passy a fost înconjurat de veterani militari și politicieni. După pregătirea în drept, a lucrat ca contabil și a servit în Garda Națională(d). A părăsit această funcție repede și a început să călătorească prin Franța ținând prelegeri despre economie. După ani de conflicte violente în toată Europa, Passy s-a alăturat mișcării pentru pace în anii 1850, lucrând cu câțiva activiști și scriitori de seamă pentru a dezvolta reviste, articole și programe educaționale.
În timp ce era membru în Camera Deputaților, Passy a creat Conferința Interparlamentară (mai târziu Uniunea Interparlamentară) cu deputatul britanic William Randal Cremer. Pe lângă aceasta, a fondat mai multe societăți de pace: Ligue Internationale et Permanente de la Paix, Société Française des Amis de la Paix și Société Française pour l'Arbitrage entre Nations. Munca lui Passy în mișcarea pentru pace a continuat în ultimii săi ani, iar în 1901, i s-a acordat Premiul Nobel pentru Pace alături de fondatorul Crucii Roșii, Henry Dunant.
Passy a murit în 1912, după o lungă perioadă de boală și incapacitate. În ciuda faptului că lucrările sale economice au câștigat puțină tracțiune, eforturile sale în mișcarea pentru pace au dus la recunoașterea lui drept „decanul activiștilor europeni pentru pace”.[11][12]:34 Fiul său, Paul Passy(d), a publicat un memoriu despre viața sa în 1927, iar lucrările sale sunt încă republicate și traduse în engleză în secolul al XXI-lea.