Адам Варга народився у Будапешті і є вихованцем столичного клубу «Ференцварош», де він займався футболом з 2006 року. Влітку 2015 року Варга підписав з клубом свій перший професійний контракт.[1]
19 травня 2019 року Варга дебютував у чемпіонаті країни, коли вийшов на заміну в кінці матчу проти клубу «Академія Пушкаша». Після цього воротар три сезони провів в оренді у клубі другого дивізіону «Шорокшар». Сезон 2022/23 Варга також грав в оренді - у клубі Вищого дивізіону «Кечкемет».[2]
Перед сезоном 2023/24 Вараг повернувся до «Ференцвароша».[3]
