Holtsmark upprättade 1887 efter grundliga teoretiska och praktiska jordbruksstudier en privat lantbruksskola på gården Sem i Asker och förestod den till 1914, då den övertogs av staten. Han var 1889-1903 suppleant i och 1903-09 ledamot av Stortinget, inträdde 1910, som representant för Frisinnede Venstre, i Wollert Konows ministär, där han var jordbruksminister, och avgick med denna 1912. Han var 1916-21 ånyo stortingsledamot.
Holtsmark utövade ett flitigt och högt skattat författarskap på jordbrukets område och utgav bland annat Husdyrslære (1897; sjunde upplagan 1920) samt redigerade en "Landbrukstidende" först i "Verdens Gang", sedan i "Tidens Tegn".