Philippe II est un des nombreux enfants de Philippe Ier de Brunswick-Grubenhagen et de son épouse Catherine de Mansfeld-Vorderort (1501-1535). Il est le benjamin d'une fratrie de neuf enfants dont six atteignent l'âge adulte. À la mort de Philippe Ier en 1551, son premier successeur est l'ainé de ses fils, Ernest III.
Le château de Katlenburg.
Le , Philippe II avait épousé sa cousine Claire, (1532-1595), fille du duc Henri II de Brunswick-Wolfenbüttel. Le couple s'installe dans l'ancien monastère de Katlenburg. Ce mariage reste stérile. Son épouse Claire était morte dès la fin de l'année 1595.
À la mort du duc Ernest en 1567, c'est un autre fils de Philippe Ier qui accède au trône : Wolfgang. Quand Wolfgang meurt à son tour en 1595 sans laisser de descendance, c'est son dernier frère vivant, Philippe II, qui lui succède. Dès 1595, il transfère sa résidence de Katlenburg au château de Herzberg où son épouse Claire meurt le .
Philippe est mort dans sa première année de règne. Il est inhumé après de ses parents et de ses frères dans la crypte de l'église Saint-Gilles à Osterode.
