Prema legendi, Kastor i Poluks pojavili su se na bojnom polju kao dva vešta konjanika koja su se borila na strani Rimljana. Nakon što su Rimljani izvojevali pobedu, Dioskuri su se ponovo ukazali na Rimskom forumu kako poje svoje konje na Juturninom izvoru i tako objavljuju pobedu. Hram je podignut na mestu na kome su se Kastor i Poluks navodno ukazali. Gradnju hrama dovršio je Postumijev sin 484. godine st. e.
U doba republike u hramu se ponekad sastajao rimski senat, a od sredine 2. veka st. e. prednji deo podijuma koristio se kao govornica. Tokom Rimskog carstva u hramu se nalazila kancelarija koja se starala o merama i tegovima, a tu je bila smeštena i državna riznica.
Požar koji je 14. godine st. e. oštetio velike delove Foruma uništio je i ovaj hram, pa ga je rekonstruisao car Tiberije, Avgustov naslednik na prestolu. Ovaj Tiberijev hram bio je posvećen 6. godine n. e. Ostaci koji se danas mogu videti potiču od ovog hrama koji je obnovio Tiberije, osim podijuma, koji je iz Metelovog vremena.
Arhitektura
Kao i velika većina grčko-rimskih hramova, i ovaj je hram bio peripter, sa osam korintskih stubova na kraćim stranama i jedanaest takvih stubova na dužim stranama. U unutrašnjosti se nalazila jedna cela popločana mozaicima. Podijum je veličine 32×49.5m, a visok je 7m. Prema antičkim izvorima, hram je imao samo jedno centralno stepenište koje je vodilo na podijum, ali iskopavanja su otkrila i dva bočna stepeništa.
Ruševina
Kao i mnoge druge građevine na Rimskom forumu, i ovaj je hram tokom petnaest vekova trpeo razaranja, pljačkanja i rušenja. Hram je još uvek bio čitav u 4. veku n. e., ali o njegovoj potonjoj istoriji nije poznato ništa osim to da su u 15. veku od celog hrama stajala još samo tri stuba. Ulica koja je tuda prolazila nazvana je tada "Ulicom tri stuba" (via Trium Columnarum). Danas se vidi deo podijuma, tri stuba i deo arhitrava, i ti ostaci su jedan od najznamenitijih spomenika na Forumu.
