Școala elementară a absolvit-o în satul natal, apoi și-a continuat studiile la Colegiul Reformat din Debrețin. Aici a făcut cunoștință cu Lőrinc Szabó, Pál Gulyás și cu Gyula Illyés-personalitate marcantă a literaturii maghiare din secolul al XX-lea.Literatura și artele au constituit principala sferă de interes al tânărului Bay, multă vreme nu s-a putut decide în a-și alege o carieră în domeniul umanist sau a științelor naturii. Sub influența lecturilor asupra publicațiile științifice ale lui Loránd Eötvös, se decide să-și aleagă cariera de fizician. După absolvirea școlii medii se înscrie la Universitatea de Științe Péter Pázmány din Budapesta pe care-l absolvă în 1924. În anii studenției, Bay a fost membru al Colegiului Eötvös, o instituție care promova tinerele talente în domeniul științelor și artelor. După absolvirea studiilor superioare este numit preparator la Institutul de fizică teoretică din capitala ungară. În anul 1926 obține titlul de doctor în fizică, primind calificativul Magna cum laude. Disertația de doctorat avea ca temă teoria moleculară a fenomenelor magnetooptice ale mediilor transparente.Cu această lucrare, Bay se afiliază noului curent de dezvoltare dominant al fizicii și anume fizicii atomice.
Anii berlinezi
Bay, după terminarea studiilor universitare, a petrecut patru ani la Berlin ca bursier al Collegium Hungaricum (Institutul maghiar din Berlin) și Notgemeinschaft der Deutschen Wissenschaften (Fundația germană pentru științe). Capitala germană în perioada șederii lui Bay, a fost la apogeul vieții științifice germane; aici activau personalități ca Max Planck, Albert Einstein, Erwin Schrödinger, Max von Laue. În perioada activității sale din Germania, Bay a lucrat în cadrul Physikalisch-Technische Reichsanhalts, unde a dezvoltat un nou tip de sursă de luminăultravioletă cu mare putere de emisie bazată pe spectrul continuu al hidrogenului.
La Universitatea din Berlin
Între anii 1927–30 a lucrat sub conducerea lui Bodenstein în cadrul Institultului de fizică și chimie a Universității din Berlin.Pe baza seriei de experimente efectuate aici, a demonstrat pentru prima oară pe cale spectroscopică, faptul că azotul gazos chimic activ conține atomi liberi de azot.Ca o recunoaștere a meritelor științifice din anii petrecuți în Germania, este numit conferențiar universitar la catedra de fizică teoretică a Universității din Seghedin.
Perioada din Seghedin
Ocupând funcția didactică de la Universitatea din Seghedin, Bay se dedică pe lângă activitatea didactică, unor aprofundate cercetări în domeniul descărcărilor de înaltă tensiune în gaze rarefiate, muncă ce avea să se materializeze peste câțiva ani, în plan practic, într-o serie de brevete de invenții.La Seghedin s-a ocupat nu numai de predarea fizicii teoretice și de cercetări în domeniul fizicii atomice, dar a devenit și un apreciat organizator și moderator al unor forumuri de dezbateri asupra problemelor actuale ale fizicii, având ca model disputele berlineze ale lui von Laue.După încheierea serie de experiențe în domeniul descărcărilor, atenția lui s-a concentrat asupra problematicii numărării (contorizării) particulelor elementare.
În perioada cât a activat la Seghedin, se împrietenește și devine colaborator științific al unor nume sonore al științei mondiale cum sunt matematicienii Frigyes Riesz , Alfréd Haar , care erau de asemenea profesori la Seghedin, și nu în ultimul rând cu viitorul laureat al premiului Nobel pentru medicină Albert Szent-Györgyi.
Perioada din Budapesta
Din 1936 își continuă activitatea științifică în cadrul laboratoarelor trustului Tungsram și la Politehnica din Budapesta (Budapesti Műszaki Egyetem). Aceste laboratoare erau în aceea perioadă cele mai bine echipate laboratoare din Ungaria. Trustul Tungsram investea sume importante în dezvoltarea aparatajelor electrice și electronice de vârf și acorda sprijin substanțial cercetărilor fundamentale de fizică și chimie. În anii petrecuți la Tungsram, Bay a brevetat nenumărate invenții printre care cele mai importante sunt brevetele mondiale:
În anul 1938, cu sprijinul financiar al Tungsram-ului înființează și organizează catedra de fizică atomică din cadrul Politehnicii budapestane. Laboratoarele catedrei au fost dotate cu aparatură de ultimă oră și au fost lansate cercetări fundamentale în premieră mondiale. Cea mai notabilă realizare al lui Bay din această perioadă a fost inventarea și perfecționarea multiplicatorului electronic (fotomultiplicatorul), un dispozitiv care permite amplificarea selectivă a undelor electromagnetice, la ora actuală larg utilizat în tehnica detectării și măsurării din domeniul fizicii atomice.