הרצברג נולד בהמבורג, גרמניה ב-25 בדצמבר 1904 לאלבין הרצברג ולאלה ביבר.[2] אחיו הבכור, וולטר, נולד בינואר 1904. הוא החל ללמוד בגן בגיל מאוחר לאחר שנדבק בחצבת. גרהרד ומשפחתו היו אתאיסטים אך שמרו את עובדה זאת בסוד. אביו מת בשנת 1914, בגיל 43, לאחר שסבל מבצקת וסיבוכים שנבעו מבעיות לב קודמות. בשנת 1929 הוא התחתן עם לואיזה אואטינגר, אסטרופיזיקאית במקצועה ולהם נולדו שני ילדים. אשתו לואיזה נפטרה בשנת 1971 בגיל 64.
תחילה, הרצברג שקל קריירה באסטרונומיה. כאשר הגיש בקשת קבלה למצפה של המבורג, נשלח איך בחזרה מכתב מהמצפה בו יועץ לו לא לפתח קריירה בתחום מבלי תמיכה כספית פרטית. לאחר שסיים את לימודיו בתיכון היוקרתי "Gelehrtenschule des Johanneums" שבהמבורג, הרצברג המשיך ללמוד באוניברסיטה הטכנית של דרמשטאדט בעזרת מלגה פרטית.[2] הוא סיים את לימודי הדוקטורט שלו בשנת 1928.
הפרס המשמעותי ביותר בו זכה הרצברג הוא פרס נובל לכימיה לשנת 1971 אשר ניתן לו עבור "תרומתו לידע של מבנה אלקטרוני ומבנה מולקולרי, בייחוד רדיקלים חופשיים".[1] בתקופה בה קיבל את הפרס, הוא נחשב על ידי רבים כספקטרוסקופיסט המולקולרי החשוב ביותר בעולם.[3] הרצברג זכה לכבוד ממספר רב של אגודות מדעיות וחברות מלכותיות וניתן לו התואר דוקטור לשם כבוד ממספר מוסדות להשכלה גבוהה במדינות שונות. ההתאחדות הקנדית לפיזיקאים מחלקת פרס שנתי על שם הרצברג להישגים בתחום הפיזיקה. בשנת 1951 הוא נבחר כחבר החברה המלכותית של לונדון. בשנת 1964 הוענקה לו מדליית פרדריק איבס על ידי האגודה האופטית של אמריקה. בשנת 1975 הוקם בקנדה 'מכון הרצברג לאסטרופיזיקה' על שמו. במחקלת הפיזיקה באוניברסיטת קרלטון שבאוטווה, קיים מבנה על שמו והמבנה הראשי במכללית ג'ון אבוט שבמונטריאול נקרא על שמו. האסטרואיד '3316 Herzberg' נקרא על שמו.
