V rokoch 1862 – 1865 študoval na univerzite v Leydene. Od 1864 učil fyziku a matematiku na strednej škole v Deventeri a o dva roky neskôr v Haagu.
Doktorskú dizertačnú prácu s názvom Over de Continuiteit van den Gas - en Vloeistoftoestand obhájil v roku 1873. V roku 1876 sa stal profesorom fyziky na univerzite v Amsterdame, kde sa zaoberal problémom spojitosti plynného a kvapalného stavu látok. Podarilo sa mu nájsť vzťah medzi objemom, tlakom a teplotou plynov a kvapalín. Dokázal existenciu síl, ktoré pôsobia na úrovni molekúl a spôsobujú vnútorný tlak v kvapalinách. Dnes sú známe ako van der Waalsove sily. Sformuloval tiež tzv. van der Waalsovu rovnicu platnú pre kvapaliny i plyny a teda i zmenu skupenstva s platnosťou pre kvapaliny rovnakého zloženia. Bola to práve táto práca, ktorá mu priniesla Nobelovu cenu a poskytla SiroviJamesovi Dewarovi a Heike Kamerlinghovi Onnesovi údaje potrebné pre výrobu kvapalného hélia.
V roku 1893 publikoval hlavné myšlienky termodynamickej teórie kapilarity, ktorých hlavným predpokladom bola existencia pozvoľnej, následne veľmi prudkej, zmeny hustoty na rozhraní medzi kvapalinou a parou.
V roku 1910 boli jeho práce ocenené Nobelovou cenou za fyziku.