Альфонсо Ферреро Ла Мармора народився 18 листопада 1804 року в Турині в сім'ї маркіза Челестіно Ферреро делла Мармора (італ.Celestino Ferrero della Marmora), капітана Іврейського полку, та графині Рафаелли Арджентеро ді Версеціо (італ.Raffaella Argentero di Bersezio). Він був одним із 13 дітей подружжя. Троє його братів (Карло, Альберто та Алессандро) також стали відомими італійськими військовими і політичними діячами.
Навчався в Королівській академії в Турині, після чого вступив на військову службу в званні лейтенанта артилерії. Одночасно мав можливість удосконалити свої знання у Франції, Британії, Пруссії й Австрії.
Наприкінці 1848 — початку 1849 року двічі обіймав посаду військового міністра. 11 квітня 1849 придушив повстання республіканців у Генуї. Того ж року новий король Віктор Емануїл II надав Ла Марморі звання генерал-лейтенанта та втретє призначив його на пост військового міністра. У той період проводив в армії реформи: провів радикальну чистку Генерального штабу, запровадив нову систему комплектування й порядок надання звань, покращив становище низових чинів.
У 1856—1858 роках знову очолював військове міністерство. У 1859 році, перебуваючи на посаді начальника Генерального штабу, брав участь в австро-італо-французькій війні. Після цього знову був військовим міністром.
У 1864—1866 роках очолював уряд. Уклав з Пруссією договір про наступальну війну проти Австрії, під час якої формально був начальником Генерального штабу. Його небезпідставно вважали винуватцем поразки при Кустоці, що змусило Ла Мармору піти у відставку.