Gmeiners mor dog när han var mycket liten. Hans syster blev då som en mor för honom och hans andra sju syskon. Han hade goda skolresultat som liten och erhöll ett stipendium, som hjälpte honom in på en internatskola. Under andra världskriget var han soldat i Ryssland. Efter kriget tog han hand om ungdomar, och blev vittne till de hem- och föräldralösa krigsbarnens elände. Han påbörjade även studier i medicin, men avbröt dock utbildningen.
Gmeiner började bygga upp organisationen med endast en liten summa pengar, som också var hela hans förmögenhet. Han startade den första byn 1949 i Imst i Österrike, som var baserad på att barnen fick växa upp under så naturliga familjeförhållanden som möjligt. Alla barnbyar är uppbyggda så att en barnby består av 10-15 familjehus med en barnbymamma och 7-10 barn i varje hus.
Idag finns 550 byar i 134 länder. Totalt hjälper SOS-Barnbyar enmiljonfemhundratusen människor runt om i världen.
Gmeiner mest kända citat är i engelsk översättning Every big thing in our world only comes true, when somebody does more than he has to do ("Varje stor sak i vår värld blir bara verklighet när någon gör mer än han behöver").
