Сын настаўніка музыкі, вучыўся ў свайго бацькі гульні на скрыпцы і кларнеце. У юнацтве выступаў як скрыпач ў аркестры і сола. Пасля аднаго з канцэртаў у Любеку атрымаў падтрымку багатага аматара музыкі, якая дазволіла паступіць ў 1863 г. у Лейпцыгскую кансерваторыю да Фердынанда Давіда. Затым, аднак, траўма рукі вымусіла Свенсена пераключыцца на навучанне кампазіцыі, і ён скончыў кансерваторыю ў 1867 г. як вучань Морыца Гаўптмана, Эрнста Рыхтэра і Карла Райнекэ. У 1868—1870 гг. жыў у Парыжы, затым зноў у Лейпцыгу. У 1872—1877 і 1880—1883 гг. кіраваў аркестрам Музычнага таварыства ў Хрысціяніі, у прамежку дырыжыраваў ў Германіі (у тым ліку на Байройцкім фестывалі), Францыі, Англіі, Італіі. У 1883 г. узначаліў дацкі Каралеўскі аркестр і кіраваў ім да 1908 года.