Bryghuset blev opført omkring 1608 under Christian 4. som en bastion, der indgik i Københavns forsvarsanlæg. Kystlinjen ved Slotsholmen var et svagt punkt i byens forsvar, og derfor lod kongen bygge en kraftig hjørnebastion på det sted, hvor bryghuset ligger i dag. De vældige mure, en åben platform øverst oppe samt brystværn og skydeskår skulle holde fjenden på afstand.
Bryghus
Efter anlægget af Christianshavn med den nye bydels fremskudte kæde af volde og bastioner mistede bygningen imidlertid sin betydning som militært anlæg. I 1618 blev der indrettet bryggeri i den tidligere bastion, hvor der skulle brygges øl til militæret. Til det formål fik huset tilført et højt tagværk med spidse gavle og skifertag over den kraftige underbygning.
Huset tjente som bryghus de følgende 150 år. Bygningen blev hærget af en ildebrand i 1632 og blev bygget op igen 1635-36. I 1659 blev den udsat for et stormangreb af svenskerne under Stormen på København. Disse ulykker medførte måske, at bryghuset blev forpagtet til Peter Klovman, en borger i byen. Han fik eneret til at forsyne hofholdningen, Kastellet og flåden med øl og havde ret til at brygge flere forskellige overgærede ølsorter. Dette var ikke til det københavnske bryggerlaugs udelte tilfredshed, der klagede flere gange over hans stigende omsætning, som ødelagde deres forretning. I 1701 førte det til, at han ikke måtte handle med øltappere og kroersker. Hans efterfølger Joris Klovman lå også i konstant diskussion med bryggerlauget. Til sidst opgav de dygtige forpagtere, og det blev bryggerlauget, der blev forpagter af bryghuset i 1739 for den årlige sum af 3000 rigsdaler.
Magasin
I maj 1767 brændte bryghuset igen. Dette medførte, at bryggeriet blev nedlagt og flyttet til en ny bygning på den anden side af Frederiksholms Kanal. I de efterfølgende år blev bryghuset genopført og fik sit nuværende udseende. Herefter tjente den i mere end 200 år som magasinbygning, først for Københavns Bryggerlaug og Søetaten, siden for Landetaten og senest for Tøjhusmuseet helt frem til 1998. Siden da har huset stået tomt.
Bryghuset er på ca. 8.200 m² fordelt på syv etager. Facaden er beklædt med munkesten. Stueetagen er i sten med muredehvælv og har karakter af et fæstningsværk. Over den er et stenloft og over det igen findes der fem lofter udført i træ. Af udseende minder de sidste om andre pakhuse.