Той е син на исландския дърворезбар Готскалк Торвалдсен и съпругата му Карен Дагнес.
На единадесет години той е ученик в свободното училище на Кралската Датска академия на изкуството в Копенхаген. През 1787 г. е награден с малък сребърен медал и след две години с големия сребърен медал. През 1793 г. получава големия златен медал и стипендия за три години за Рим, където заминава след три години. От 1793 до 1796 г. той дава частни уроци по рисуване. На 29 август 1796 г. Торвалдсен пристига най-после в Рим и се нарича там „Скулпторе Алберто“. Продължават стипендията му с още две години и през 1802 г. с още година.
През май 1805 г. той става редовен член на Кралската академия на изкуството в Дания и същата година – почетен член на академията на изкуството в Болоня. През това време той получава държавни поръчки от Наполеон Бонапарт.
На 3 октомври 1818 г. Торвалдсен се връща в Копенхаген, където става професор на модел-класа в академията на изкуствата. През август 1820 г. той отива обратно в Италия до 1838 г. През май 1841 г. се връща обратно в Рим и през октомври 1842 г. отива обратно в Копенхаген.
На 24 март 1844 г. Торвалдсен по време на театрално посещение припада и умира същия ден на 73 години. Той не е женен, има обаче една дъщеря. Погребан е в построен за него музей.