Iniziò la sua attività di allenatore tra il 1960 e il 1970 aprendo una scuola di ginnastica a Onești insieme alla moglie Márta. Mentre si recava nelle scuole per cercare giovani talenti, in una di esse incontrò la piccola Nadia Comăneci, che egli iniziò ad allenare insieme ad altre giovanissime promesse.
Debuttò come allenatore della nazionale nel 1974, ma fu con le Olimpiadi di Montreal nel 1976 che divenne famoso: la "sua creatura" Nadia ottenne per la prima volta nella storia delle Olimpiadi un 10, risultato che poi ottenne altre sette volte. Dopo il successo iniziarono a nascere le prime incomprensioni con la federazione rumena ,che lo fece allontanare. Fu di nuovo a capo della squadra nazionale alle Olimpiadi di Mosca nel 1980. Tuttavia la rottura con la federazione divenne definitiva e con la moglie e il coreografo Geza Pozar lasciò per sempre la Romania e chiede asilo politico negli Stati Uniti.
Marito e moglie si trasferirono in Oklahoma, dove continuarono ad allenare le ginnaste della squadra statunitense tra cui Mary Lou Retton, Phoebe Mills, Betty Okino e Kim Zmeskal, ma i loro metodi considerati troppo duri divennero causa di aspre critiche. In particolare Béla Károlyi imponeva alle ginnaste di assumere solo 900 calorie al giorno per mantenere un corpo snello e l'agilità che occorre per eseguire gli esercizi.
Béla Károlyi recitò nel telefilm Make It or Break It - Giovani campionesse nel ruolo di Dimitri Belov, padre di Sasha Belov, entrambi allenatori di ginnastica artistica.