En 1909 el matrimoni format per Anton Kröller i Helene Müller (de casada Kröller-Müller) van adquirir uns terrenys a la comarca del Veluwe, a la província de Güeldres. El senyor Kröller, un ric home de negocis, volia crear una reserva de caça, mentre que la senyora Kröller-Müller pretenia dotar-se d'un espai per albergar la seva col·lecció d'art modern, una de les majors del món a nivell privat, que incloïa 267 obres de Vincent van Gogh, a més de moltes altres de Picasso, Renoir, Monet, Mondrian, Modigliani, etc.
Per a les edificacions es va recórrer als millors arquitectes de l'època: Hendrik Petrus Berlage es va encarregar del pavelló de caça, conegut com a Pavelló Sant Huberto. El museu va ser encarregat a Henry van de Velde, encara que el seu projecte va ser interromput per la Primera Guerra Mundial i la següent crisi econòmica; finalment, el matrimoni va arribar a un acord amb l'estat holandès per continuar el projecte, a canvi de cedir la propietat i la col·lecció d'art a l'estat. Així, es van afegir diversos edificis i pavellons, com el d'Aldo van Eyck o el de Gerrit Rietveld, realitzat per a la Tercera Exposició Internacional, organitzada al Parc Sonsbeek d'Arnhem, i que ara es troba davant l'edifici de Van de Velde. El museu va obrir les seves portes al públic el 1938.