Той е син на Мартин Гьолер фон Равенсбург (1408 – 1465), бивш домхер на Шпайер, и съпругата му Анна фон Хиршберг. Баща му е освободен 1433 г. от духовния му пост от папа Евгений IV. Брат е на Йохан II, Георг I (1440 – 1502), курпфалцски фогт в Бретен, и Евхариус. Йохан и Евхариус стават домхерен в Шпайер.[1]
Албрехт V Гьолер фон Равенсбург се бие 1462 г. в битката при Зекенхайм (днес част от Манхайм) на страната на победения херцог Улрих V фон Вюртемберг. Брат му Георг I Гьолер фон Равенсбург се бие на страната на Фридрих I Победоносни, курфюрст на Пфалц. Албрехт попада за две години в плен на Пфалц, докато плати висока сума. Въпреки случилото се курфюрст Филип, наследникът на Фридрих I, го прави през 1488 г. фогт в Кройцнах.
През 1486 г. Албрехт V и брат му Георг I построяват капела до Равенсбург при „Зеемюле“.
Албрехт V Гьолер фон Равенсбург се жени втори път през 1474 г. за Катарина фон Рамунг († 1497) и след нейната смърт 1497 г. става собственик на Дауденцел (днес в Аглазтерхаузен).
Alfred Friese: Die Ritter-und Turniergesellschaft „mit dem Esel“. Ein Beitrag zur Kulturgeschichte des mittelrheinisch-hessischen Adels im späten Mittelalter. In: Archiv für hessische Geschichte und Altertumskunde. Neue Folge, Band 24, 1952/1953, S. 153 – 184.
↑Dieter u. Ravan Göler von Ravensburg: Die Göler von Ravensburg. Entstehung und Entwicklung eines Geschlechts der Kraichgauer Ritterschaft. Herausgegeben vom Heimatverein Kraichgau (Sonderdruck Nr. 1), Sinsheim 1979.