Toch bleef dit gebouw te klein; even werd geopperd het instituut te verhuizen naar Utrecht, maar op 15 september 1911 besteedde het Ministerie van Koloniën aan
het bouwen van het Koloniaal Etablissement aan het IJ, nabij de Westerdoksluis te Amsterdam
Opnieuw was de architect Piet Hein van Niftrik, dan werkend vanuit zijn kantoor aan Rokin. Het Rijk had tot de bouw voor 45.000 gulden een stuk grond van circa 5000 m² van de gemeente Amsterdam aangekocht aan de Westerdoksdijk, nabij een zwem- en badinrichting in het IJ. Volgens Het Vaderland werd vanwege een verwijzing naar de koloniën een bouwstijl worden gehanteerd met een verbinding richting 17e eeuw.[3] Het ontwerp van Van Niftrik moest toch enkele keren aangepast worden. Wel stond vast dat het gebouwd zou worden in pakhuisvorm in de Hollandse renaissancearchitectuur van die eeuw met een vloeroppervlak van 4200 m². Het gebouw zou de afmeting krijgen van 60 meter (voorgevel) en 70 meter (diepte). Het zou grotendeels opgetrokken worden met één bouwlaag, de voorgevel kreeg ter huisvesting van kantoren een extra verdieping (de bovenverdieping zou bij oplevering bijna de gehele begane grond afdekken). Het geheel werd onderkelderd. [4]
De aanbesteding vond door die aanpassingen en de hoop in een massa-aanbesteding om de kosten te kunnen bezuinigen pas plaats in september 1911, aldus een mededeling in de Nederlandse Staatscourant ondertekend door Johannes Bernardus van der Houven van Oordt.[5] In januari 1913 was de bouw zover gevorderd dat kon worden begonnen met installaties en inrichtingen. In maart kwam minister Jan Hendrik de Waal Malefijt een kijkje nemen. Zijn opvolger Thomas Bastiaan Pleyte kwam in december 1913 kijken naar het opgeleverde gebouw.[6]
Na de onafhankelijkheid van Nederlands-Indië tot Indonesië werd het gebouw enige tijd Indonesisch grondgebied, en werd in 1954 teruggekocht door Nederland en onder gebracht bij de Rijksgebouwendienst. Vervolgens probeerde men er allerlei diensten in onder te brengen, de laatste was de Rijkspolitie te Water, maar ook Dienst Loodswezen Amsterdam-IJmond en IJsselmeer. Het gebouw werd daarbij verwaarloosd, terwijl ook het koloniaal verleden in een kwader daglicht kwam te staan. Al in 1964 sprak men van een “somber gebouw”. Bovendien konden het Rijk en de gemeente Amsterdam niets met dit gebouw, toch was er waarschijnlijk onderzoek naar een monumentstatus want fotograaf Gerard Drukker legde het gebouw nog in 1979 vast voor de Rijksdienst voor het Cultureel Erfgoed. Beleidsmedewerker Tessel Pollmann van de Rijksdienst voor de Monumentenzorg pleitte in 1992 nog voor behoud van het gebouw als onderdeel van de historische haven van Amsterdam.[7]
Desalniettemin volgde in 2000 een sloopvergunning. Daartegen kwamen dan weer bezwaren van omwonenden, architecten etc.; zij zagen voldoende redenen het pand te behouden. Het resultaat bleef hetzelfde; het gebouw ging in 2009 tegen de vlakte. Een van de redenen was de uitgebreide sanering van het gebied rondom het Westerdok. Het gebouw viel ten prooi aan het nieuwe buurtje IJDock met op de plaats van het gebouw het nieuwe pand van het Paleis van Justitie, een binnenhaven en de Vluchthavenbrug.
Het gesloopte gebouw werd opgenomen in het boekwerk Amsterdam sloopt van Wouter van Elburg en Hanneke Ronnes over betreurde sloopwerken in Amsterdam.