Anna Carroll est née en 1815 sur la Côte est du Maryland dans un milieu très aisé, sa famille est une notable de la région, regroupant à la fois des catholiques et des protestants.
Son père est Thomas King Carroll (1793-1873), nommé gouverneur du Maryland en 1830 et propriétaire d'une plantation de tabac de 2000 acres dans le comté de Somerset. Anna est l'aînée de neuf enfants. Elle est éduquée et formée par son père à être son assistante, lui enseignant le droit. Cela lui permet de se faire ouvrir les portes du très masculin monde de la politique. Anna contribue aux ressources de sa famille en établissant une école de filles à leur domicile de Kingston Hall. Cependant, on sait peu de choses sur sa vie entre vingt et trente-cinq ans.