Пензијас је рођен у Минхену у Немачкој као син Џастин и Карла Пензијаса. Са 6 година, био је међу јеврејском децом евакуисаном у Енглеску као део спасилачке мисије. Касније, и његови родитељи су побегли и породица се поново састала у Њујорку 1940. Средњу школу завршио је у Бруклину 1951. године а затим наставио да студира физику и матурирао 1954. као један од најбољих студената у генерацији.
Касније је радио за америчку војску и био укључен у истраживања везана за микроталасна зрачења. Докторат је стекао на универзитету у Колумбији 1962. године.
Каријера
Пензијас и Вилсон поред антене
Радио је у Њу Џерзију са Робертом Вилсоном на сензитивним антенама микроталасног зрачења намењеним за истраживања у пољу радио астрономије. Када су изградили своју најбољу антену до тада, константно су примећивали шум и сметње које нису могли да објасне. Прва претпоставка је била да шум потиче од Млечног пута али је брзо одбачена. С обзиром да је детектована сметња била изотропна, друга претпоставка је била да нешто није у реду са антеном. Као и ова, свака следећа претпоставка била је одбачена. Роберт Дике је затим предложио да детектована сметња представља космичко позадинско зрачење. Пензијас и Вилсон су затим објавили рад у једном од тадашњих најпознатијих научних часописа где су описали своја посматрања, која су касније помогла да се потврди теорија Великог праска
