Agricola nasceu em Schwiebus, na Baixa Silésia,[1] filho de um rico fazendeiro, desfrutou de educação escolar. Inicialmente trabalhou na fazenda da família. A partir de 1510, viajou pelo leste da Alemanha. Durante este período, adquiriu como autodidata, a base de seu conhecimento musical. Os locais por onde esteve são desconhecidos, provavelmente entre eles estavam: Frankfurt an der Oder e Leipzig.
Agricola estabeleceu-se em 1519, em Magdeburgo, como professor de música. Tão logo a Reforma Protestante impõe-se na cidade, Agricola juntou-se a ela. Como parte da introdução da nova confissão de fé, as diferentes escolas de música foram juntadas em uma única instituição urbana, com Agricola sendo nomeado seu Kantor, em 1525. Além de sua tarefa docente, Agricola buscou, acima de tudo, dar ao novo movimento protestante uma música de igreja própria. Em 1528, publicou Ein kurz deudsche Musica (Musica Choralis Deudsch), um guia popular para o ensino de música. Outros trabalhos desse gênero se seguiram: Musica Figuralis Deudsch e Musica instrumentalis deudsch (1529), especialmente este último destaca-se como um estudo de instrumentos musicais e uma das obras mais importantes do início da Organologia; além de um dos primeiros livros sobre os rudimentos de música.
O conselheiro e editor musical George Rhau, de Wittenberg, foi amigo próximo de Agricola. Publicou seus trabalhos teóricos, que continham valiosas contribuições para a transição do antigo para o novo sistema de notação musical. Muitos termos musicais, como clave, escala musical, ou marcar compasso foram criados por Agricola.