Reverend Bizarre foi criado em 1994 na cidade de Lohja, Finlândia, por Sami Hynninen, Kimi Kärki e Juippi, este último, membro fundador da banda HIM. A ideia era tocar o doom metal inspirado nas bandas tradicionais do gênero, querendo levar este para um público que não o conhecia. Começaram a fazer ensaios, que são interrompidos assim que os três têm que cumprir o serviço militar. Em 1996 gravam uma sessão com o resultado dessas sessões, sob o selo The Holy Parish of Doom, conhecido no meio underground como Practice Sessions. Pouco tempo depois, Kärki decide se mudar para Turku e Juippi começa a ter problemas com estimulantes, o que dissolve a banda.
No verão de 1998, Hynninen se muda para Turku e decide com Kärki reviver o Reverend Bizarre. Se reúnem então com Jara Pohjonen, que acabara de sair da prisão. Hynninen aressume o baixo e os vocais sob a alcunha de Sir Albert Witchfinder, Kärki, a guitarra com o nome de Padre Peter Vicar. Pohjonen vai para a bateria com o nome de Monsieur Earl of Void. Em 1999 começam os ensaios e é lançada a primeira fita demo, Slice of Doom, em três dias. Seu caráter purista dá à banda destaque no underground.
Em agosto do mesmo ano, a banda forma com outras bandas locais o Circle of True Doom, para promover o gênero.
E, pouco tempo, fazem uma turnê passando por Finlândia, Bélgica, Holanda, Inglaterra, Suíça, Estônia e Estados Unidos. Ao ver que a banda de prospectiva de futuro, planejam o lançamento de cinco discos: In the Rectory of the Bizarre Reverend, Crush the Insects, Songs From the Funereal World, Heavier than Life e How it Was Meant to Be.
Em 2002 lançam com o selo Sinister Figure o álbum In the Rectory of the Bizarre Reverend. Em 2003, após conseguir um contrato com a Spinefarm Records, lançam o EPHarbinger of Metal. Neste ano e no seguinte, lançariam splits com as bandas Ritual Steel, Orodruin e Minotauri, além do EP Return to the Rectory.
Em 2005, sai o segundo álbum completo, com o nome de II: Crush The Insects, com uma temática que mistura a Guerra Civil Inglesa, a História dos Estados Unidos e o ocultismo. O álbum chegaria a ser o trigésimo-sexto da Suomen virallinen lista, as paradas finlandesas. Em 2006, lançariam um split com a banda Mannhai, além do EP Thulsa Doom e o longo single Teutonic Witch, este último tendo liderado as paradas.[2]
Em 2006, mostraram ter abortado o plano da pentalogia de álbuns ao substituir os três últimos pelo lançamento de III: So Long Suckers, em 2007, de acordo com Hynninen, para que a banda "terminasse antes de ficar ruim". Ainda em 2006, fizeram uma última apresentação em Turku e viram o álbum chegar ao sexto lugar nas paradas finlandesas.
Mesmo depois do fim da banda, esta apareceu em quatro splits lançados em 2008, e os três ex-membros ainda tocam juntos na banda de prog rock Orne.
