Sendo un cativo a súa familia marchou a Nova Orleáns, despois de dez anos volveu a Portsmouth -a Rivermouth de moitas das súas historias- para se preparar para a universidade. Este período da súa vida está parcialmente descrito en Story of a Bad Boy (1870), que o mesmo Mark Twain recoñeceu o inspirador de Tom Sawyer.
A morte do seu pai en 1852 obrigouno a deixar os seus estudos, e poñerse a traballar nunha oficina de Nova York, alí comeza a escribir para revistas e xornais, e fai amizade cos poetas novos e artistas da cidade, entre eles EC Stedman, RH Stoddard, Bayard Taylor e Walt Whitman. Entre 1856 e 1859 estivo no Home Journal, e durante a Guerra Civil americana foi editor do New York Illustrated News.
Estadía en Boston
En 1865 trasladouse a Boston, onde foi editor durante dez anos do Every Saturday. Entre 1881 e 1890 foi editor do Atlantic Monthly. Aldrich escribiu durante toda a súa vida, tanto en prosa como en verso, entre as súas obras de poesía destacan The Ballad of Babie Bell (1856), Pampinea, and Other Poems (1861), Cloth of Gold (1874), Flower and Thorn (1876), Friar Jerome's Beautiful Book (1881), Wyndham Towers (1889), e as escolmas realizadas en 1865, 1882, 1897 e 1900, amósano como un poeta lírico fortemente influenciado por Robert Herrick
En prosa comeza con Marjorie Daw and Other People (1873), aplicando unha mestura de realismo e humor. INas súas novelas Prudence Palfrey (1874), The Queen of Sheba (1877) e The Stillwater Tragedy (1880), hai máis acción. En A Rivermouth Romance (1877) e In An Old Town by the Sea (1893) o autor leva a acción á súa cidade natal.