Oprindelsen til hotellet var en firelænget gård, som Ane Kirstine Houmann (1785-1858) arvede efter sin stedfar Christen Degn (1760-1839). Hun drev her købmandsgård og gæstgiveri sammen med sin mand, Anders Eriksen Brøndum (1781-1835). Deres søn Erik Andersen Brøndum (1820-1890) overtog hotellet efter faderens død. Navnet Brøndums Hotel fik det først af sønnen Christen Degn Brøndum (1856-1932), der overtog gæstgivergården omkring år 1880. Hotellet er udvidet og ombygget i flere omgange og fik i 1915 et anneks, Admiralgården, bygget efter samme tegninger som Kongevillaen.[1] Hotellets spisesal, også kendt som Brøndums spisesal, blev i 1946 overført til Skagens Museum.
Skagensmalerinden Anna Ancher var datter af Erik Andersen Brøndum og Anne Hedvig Brøndum (1826-1916) og blev født på hotellet under H.C. Andersens besøg.
Ud over den historiske atmosfære er stedet i dag kendt for sit køkken.