Święcenia kapłańskie przyjął 2 lutego 1959 roku w swojej rodzinnej diecezji Essen, udzielił ich mu ordynariusz tej diecezji Franz Hengsbach, późniejszy kardynał. 31 marca 1988 papież Jan Paweł II mianował go biskupem pomocniczym diecezji, ze stolicą tytularnąTingaria. Sakry udzielił mu pozostający wciąż biskupem Essen Franz Hengsbach, w dniu 3 maja 1988. W listopadzie 2007 bp Grave osiągnął biskupi wiek emerytalny (75 lat) i zgodnie z prawem kanonicznym złożył rezygnację, która została przyjęta z dniem 27 czerwca 2008. Od tego czasu pozostał jednym z biskupów seniorów diecezji.