Rodzina przeniosła się do Nowego Jorku, gdy Jason Jr. był jeszcze małym dzieckiem, a następnie, gdy miał sześć lat, przeprowadził się z rodziną do Los Angeles. Późniejsze wywiady z Robardsem sugerowały, że trauma rozwodów jego rodziców, która miała miejsce w latach nauki w szkole średniej, miała ogromny wpływ na jego osobowość i światopogląd. Jako nastolatek podczas nauki w Hollywood High School w Los Angeles, startował w zawodach lekkoatletycznych, biegając milę w czasie 4:18. Chociaż jego sprawność sportowa wzbudziła zainteresowanie kilku uniwersytetów, podczas II wojny światowej, od 1940 Robards służył w US Navy jako radiooperator i był jednym z ocalałych z ataku Japończyków na Pearl Harbor 7 grudnia 1941. Otrzymał Krzyż Marynarki Wojennej, drugie w hierarchii ważności odznaczenie w marynarce wojennej Stanów Zjednoczonych Ameryki. W latach 1946–47 studiował w American Academy of Dramatic Arts[1].
