Pocházel z rodiny mlynáře z Brandlu, který si vzal dceru sedláka z Jablonce a začal podnikat v obchodu se sklem a bižuterií. Jeho syn Josef Pfeiffer se narodil roku 1808. Obecní školu vychodil v Jablonci, pak studoval v Praze na vzorové hlavní škole. Následně ho otec zaměstnal v rodinné firmě. Ve věku 17 let byl poslán na praxi do Frankfurtu nad Mohanem. Roku 1829 se vrátil do Jablonce, kde opět nastoupil k otci do jeho podniku. Po úmrtí otce roku 1839 převzal vedení firmy jako nejstarší společník. Firma Joseph Pfeiffer a Comp. se stala nejvýznamnějším podnikem v oboru v regionu Jizerských hor. Účastnila se průmyslových a světových výstav, kde získávala ocenění. Ve 40. letech 19. století byla i největším exportérem kovové bižuterie.[4][5]
Roku 1850 byl zvolen starostou Jablonce nad Nisou. Kvůli tomu částečně omezil své aktivity ve firmě. V starostenské funkci se zasadil o rozvoj dopravního spojení (nové silnice do Hodkovic a Železného Brodu), rozvoji podnikání a veřejného života v obci. Coby starosta Jablonce setrval 17 let. Roku 1866 se Jablonec dočkal povýšení na město (roku 1865 se stal sídlem soudního okresu). Za jeho působení v čele města došlo k založení nového náměstí (dnes Dolní náměstí). V letech 1867–1869 zde vyrostla nová budova radnice. Prosazoval i výstavbu nemocnice a odborné školy pro bižuterní průmysl. Inicioval vznik městské spořitelny, jejímž ředitelem byl až do své smrti. Starostenský plat poskytoval na dobročinné účely. V letech 1865–1869 zasedal i v okresním zastupitelstvu.[4]
Po obnovení ústavního života v Rakouském císařství počátkem 60. let 19. století se zapojil i do zemské politiky. V zemských volbách v Čechách v roce 1861 byl zvolen v městské kurii (volební obvod Jablonec – Hodkovice – Smržovka) do Českého zemského sněmu. Zvolen byl jako oficiální kandidát německého volebního výboru.[6] Mandát obhájil ve volbách v lednu 1867, nyní za kurii obchodních a živnostenských komor (obvod Liberec).[7] V této době také zasedal v Říšské radě (celostátní zákonodárný sbor), kam ho vyslal zemský sněm poprvé roku 1861 (tehdy ještě Říšská rada nevolena přímo, ale tvořena delegáty jednotlivých zemských sněmů).[3]
Roku 1867 mu František Josef I. udělil Řád Františka Josefa (rytířský kříž) jako ocenění hrdého postoje během pruské invaze do Čech předchozího roku.[4]
Od roku 1833 byl ženatý s Annou Fischerovou, která ale zanedlouho zemřela. Od roku 1837 měl za manželku Helenu Fouskovou, která zemřela roku 1868. Josef Pfeiffer 31. ledna 1869 onemocněl a v několika dnech do své smrti byl upoután na lůžko. V Jablonci po něm byla pojmenována ulice (nyní ulice 28. října).[4]