Nasceu em Wechold, próximo a Hoya; seu pai também se chamava Philipp Spitta (1801–1859) e era um teólogo e escreveu uma coleção de hinos protestantes intitulada Psalter und Harfe. Quando criança, estudou piano, órgão e composição. Estudou Teologia e Filologia clássica na Universidade de Göttingen a partir de 1860, graduando-se em 1864 como Ph. D. através de uma dissertação sobre Tácito (Der Satzbau bei Tacitus, 1866). Durante o curso universitário, compôs e escreveu a biografia de Robert Schumann e se tornou amigo de Brahms. Foi professor de Grego antigo e Latim, sucessivamente em Reval, Sondershausen and Leipzig, enquanto cultivava seu interesse por História da Música em geral, e por Johann Sebastian Bach em particular.
Seus estudos sobre Bach começaram a ser publicados em 1873, e resultaram no cargo de professor de história da Música na Universidade de Berlim, em 1875 e, posteriormente, no cargo de Diretor Administrativo da Berlin Hochschule für Musik, permanecendo nesse posto até a sua morte.
Deixou forte influência nos novos campos da crítica histórica e musicologia; sua obra reportava períodos da música desde a Idade Média até sua própria vida, e abrangia pesquisa, ensino, escrita e publicação de edições musicais num alto rigor, inclusive no uso de estudos críticos das fontes. Foi influenciado pela filosofia do Neo-Kantismo. Em sua biografia de Bach, escreveu o primeiro grande estudo sobre o Coral Alemão e a música do século XVII para instrumentos de teclado.
