Harildstad var fødd i Heidal i Oppland. I ungdomen var han omgangsskulelærar i fire år. Sidan vart han underoffiser og deltok i 1788 i felttoget mot Sverige. Frå 1794 var han gardbrukar på garden Åmot i Kvam i Oppland. Her vart han ein føregangsmann i hagebruk.