Nato in una famiglia di musicisti gallesi a Llandaff, Atkins si laureò con una laurea in musica presso il Queen's College, Oxford nel 1892, e successivamente conseguì un dottorato in musica (Oxford). Fu assistente organista della Cattedrale di Hereford (1890-1893) e organista della chiesa di St Laurence, Ludlow dal 1893 al 1897.
Fu nominato cavaliere nel 1921 per servizi alla musica e fu presidente del Royal College of Organists dal 1935 al 1936.
Era un amico di Edward Elgar, che nel 1904 gli dedicò la terza delle sue Pomp and Circumstance Marches. Fu in seguito Atkins a suggerire che la Severn Suite di Elgar, prodotta nel 1930 come pezzo da concorso per banda di ottoni e arrangiata per orchestra nel 1932, fosse trascritta per organo; Elgar suggerì che Atkins stesso assumesse l'incarico. Il lavoro risultante, su cui Elgar e Atkins lavorarono insieme, fu completato nel 1932 e pubblicato come Second Organ Sonata di Elgar.
La moglie di Sir Ivor Atkins, Katherine, fu Sindaco di Worcester nel 1937. Le loro ceneri furono sepolte nella Cattedrale di Worcester.