Askildsen var lensmann i Halse, Hartmark og Mandal by fra 1928 til 1968. Han satt i kommunestyret fra 1936 til 1940, 1945 til 1947 og 1951 til 1963. Askildsen fikk også én periode som folkevalgt på Stortinget, der han satt i Justiskomiteen. Han var også i mange år aktiv i Norsk Luthersk Misjonssamband, blant annet som medlem i hovedstyret 1939–1955 og 1958–1964.