Верхньорейнський грабен було створено під час альпійського орогенезу, ранній кайнозой — пізній еоцен, через те що зіткнення Євразійської і Африканської плит. Вважається, що через зіткнення були нерегулярними, первинний контакт між двома континентами призвело до формування структур розтягування у крайових прогинах на північ від Альп[3] У результаті істотного витончення земної кори, утворилась основна екстенсіональність грабену, викликаючи ізольовану вулканічну активність. Коефіцієнт розтягування оцінюється в ~ 2.
Рифтові флангові підняття
На схід і захід від грабену, було утворено два основних гірських пасма, прямуючих вздовж рифту. На заході, у Франції, це — Вогези, а на сході, в Німеччині — Шварцвальд. Хребти мають метаморфізовані типи гірських порід в їх надрах, в тому числі кристалізовані гнейси. Обидва пасма зазнали підняття понад 2500 метрів, проте більша частина вже зазнала ерозії. Підняття сталося через порушення ізостазії, пов'язане з формуванням екстенсіональності басейну. Як наслідок, високі гори безпосередньо примикають до краю басейну, і стають все більш низькими назовні. Межі гірських хребтів і верхньорейнського грабену позначені зонами розломів.
На півночі верхньорейнський грабен обрамлено трохи нижчими, гірськими хребтами, Пфальцький ліс — на заході і Оденвальд — на сході.