I 1871 ble han habilitert ved Universitetet i Bonn, 25 år gammel. Fire år senere ble han utnevnt til ekstraordinær professor. Han kunne imidlertid ikke få en fast lærestol (ordinariat), vel på grunn av sin jødiske tro. Av denne grunn aksepterte han i 1878 et professorat i historie ved Universitetet i Brussel.
Nasjonalistiske kolleger ved universitetet la imidlertid ikke skjul på sin antityske og antijødiske holdning, og Philippson opplevde utfrysning og mobbing. Dette førte til at han i 1890 sa opp stillingen og la ned sine verv i Brussel for å vende tilbake til Tyskland. Der slo han seg ned i Berlin som selvstendig vitenskapelig forfatter.
I Berlin deltok Philippson også i grunnleggelsen av Gesellschaft zur Förderung der Wissenschaft des Judentums. Senere ble han av Deutsch-Israelitische Gemeindebund valgt til å lede foreningen. Han ble også innvalgt i styret i Verband deutscher Juden.
