Роден е на 15 октомври1829 година в Гошен, щата Кънектикът, в семейството на Асаф Хол II (1800 – 1842), часовникар, и Хана Палмър (1804 – 1880). Баща му умира, когато той е 13-годишен, като оставя семейството във финансово затруднение. Хол напуска училище и става чирак на дърводелец. По-късно се записва в Сентрал колидж в Ню Йорк, където учи математика. Взима уроци по геометрия и немски език от Анджелина Стикни, за която се жени през 1856 година. Двамата имат четири деца.