Castle Douglas a été fondé en 1792 par William Douglas, qui affirmait mais n'avoir aucun lien étroit avec l'ancien château des Douglases de Threave. Il avait gagné son argent dans un "commerce américain" et créé une ville planifiée sur les rives du Carlingwark Loch. La disposition de la ville est basée sur le modèle de plan en grille des rues utilisé dans la "New Town" d'Édimbourg, construite à la même époque. Sir William Douglas a également créé un certain nombre d’industries à Castle Douglas, notamment des usines de coton tissé à la main, à partir de laquelle Cotton Street tire son name.
La bibliothèque de Castle Douglas, située sur la colline du marché, a été conçue par l'architecte George Washington Browne et a ouvert ses portes en 1904 grâce au financement d'Andrew Carnegie, industriel et philanthrope écossais-américain.
Sir William Douglas (1745-1809), fondateur du bourg de Castle Douglas. Enterré dans le mausolée de Douglas sur Kelton Hill surplombant la ville.
Robert Burns a passé la nuit ici, au Carlinwark Inn, au cours de sa 'Tournéeà Galloway'. De là, il écrivit une lettre à Mme Dunlop à Ayrshire le , qui commençait par "D'uneaubergesolitaire...".
Charles Dickens a rendu visite à l’antiquaire et auteur Joseph Train, écossais, FSA (1779-1852) chez lui, à Lochvale Cottage, et l’a écrit dans son périodique Household Words, n ° 173 , paru après la mort de Train. Une plaque commémorative en marbre commémorant sa vie et son amitié avec Sir Walter Scott se trouve à la mairie de Castle Douglas.
James Clerk Maxwell, 1831-1879, physicien et auteur du Traité surl'électricité et le magnétisme, 1873. Maxwell résida à Glenlair, sa maison à la compagne, Il mourut en 1879 et fut enterré dans le cimetière de l'eglise de Parton. Son travail a influencé Albert Einstein qui a gardé une photo encadrée de lui sur son mur d'étude.
Samuel Rutherford Crockett, 1859-1914, auteur de The Raiders et de nombreuses autres œuvres de fiction historique, a vécu au 24 Cotton Street, Castle Douglas et a fréquenté l’école Cowper's School également à Cotton Street. Il est mort à Tarascon sur Rhône en France en 1914.