Ele era o irmão mais velho de Hans Holbein o Jovem e, como seu irmão, nasceu em Augsburgo (hoje na Baviera), um centro de arte, cultura e comércio daquele tempo. Seu pai, Hans Holbein, o Velho, foi um pioneiro e líder na transformação da arte germânica do Gótico para o Renascimento.[1]
Em 1515, Holbein viveu na cidade suíça de Stein am Rhein, onde ajudou um pintor de Schaffhausen chamado Thomas Schmid na pintura dos murais do salão principal do Monastério de São Jorge. No ano seguinte, junto com seu irmão Hans, trabalhou em Basileia, no estúdio de Hans Herbster. Em 1517, tornou-se cidadão da localidade.