Etter examen artium 1900 og Krigsskolen 1901, tok han språkhistorisk embetseksamen (1908) og jobbet blant annet i Mosjøen før han i 1914 ble universitetsstipendiat og dosent i gamle germanske språk. Sverdrup tok doktorgrad med avhandlingen Zum germanischen Verbalsystem (1929). Han ble tilsatt som professor i germansk filologi ved Universitetet i Oslo (1929–38) der han bidro til faget og skrev lærebøker. Hans bok om tysk syntaks ble fullført av hans etterkommer, professor Ingerid Dal.
Jakob Sverdrup giftet seg i 1909 med Marie Ramm Hoel (1874–1961).