De forme carré, ses côtés ont une largeur d'environ 75 mètres. Sa mesure frontale est d'exactement 73,8 mètres. Sa superficie est de 6 726,2 m2[2]. Il est délimité par l'avenue Sainte-Geneviève (est) et les rues Mont-Carmel (nord), de la Porte (ouest) et des Carrières (est). À l'exception de cette dernière rue, tous ses côtés sont clos par un muret en pierre percé de cinq entrées piétonnes.
Le parc est la propriété du gouvernement du Canada[2]. Il est constitué d'une pelouse traversée par des allées piétonnes bordées d'arbres matures. Un petit kiosque en briques de forme hexagonale se trouve à l'intérieur du parc, près de la rue de la Porte[3].
Après la Conquête, le potager est déplacé en contrebas, où se trouve actuellement le parterre gazonné de la terrasse Dufferin. L'emplacement initial est alors transformé en jardin à l'anglaise. Le plus ancien monument commémoratif de Québec, le monument Wolfe-Montcalm, y est inauguré en 1828[4].
Le jardin est ouvert au public dans les années suivants l'incendie du château en 1834. En 1868, les premiers moineaux importés d'Europe sont libérés à partir du jardin[1].
