Mẹ của Charlotte đã ly thân với chồng là Roger Palmer, Bá tước thứ 1 xứ Castlemaine, nhưng vẫn duy trì quan hệ hôn nhân với chồng. Roger không có bất kỳ đứa con nào với vợ; trên thực tế, Charlotte và các anh chị em đều là con ngoại hôn của Bà Bá tước với Quốc vương Charles II. Charles II thừa nhận con gái và ban cho Charlotte họ FitzRoy - tức là "con của Quốc vương".
Người viết nhật ký Samuel Pepys ghi nhận rằng Charlotte có thể sẽ có triển vọng hôn nhân tốt: "Phu nhân Castlemayne [Barbara Villiers] của tôi sẽ vui vẻ nói rằng con gái của bà (không quá một hoặc hai tuổi) sẽ là thiếu nữ đầu tiên trong Triều đình sẽ kết hôn…”[2]
Charlotte là người cháu gái yêu thích của James, Công tước xứ York, em trai của Charles II, người sau này trị vì nước Anh với trị hiệu là James II. Nhà sử học John Heneage Jesse đã viết về Charlotte FitzRoy như sau: "Chúng ta biết rất ít về Charlotte ngoại trừ việc cô ấy xinh đẹp."[a][3] Khi còn nhỏ, Charlotte đã được vẽ bởi họa sĩ cung đình Peter Lely, Họa sĩ chính Thường trực của Charles II, trong đó Công nương ngồi cùng với một nam hầu cận người Ấn Độ, tay cầm một chùm nho và mặc trang phục lụa màu hồng. Ngày nay, bức tranh được treo ở Triển lãm Nghệ thuật York.
Nhà sử học nghệ thuật Anna Brownell Jameson đã mô tả Charlotte FitzRoy là người "có sắc đẹp sánh ngang với mẹ, nhưng lại không giống mẹ ở mọi khía cạnh còn lại."[b][4]
Có vẻ như Charles II là một người cha đầy yêu thương đối với Charlotte. Năm 1682, Quốc vương đã viết cho con gái rằng: "Cha phải nói với con rằng cha rất vui khi biết con đã mang thai, và cha hy vọng được gặp con sớm, để cha có thể cảm thấy hạnh phúc khi nói với con rằng cha thương con đến nhường nào, và là cha tốt của Con, Charles Quốc vương".[c][5]
Ngày 16 tháng 5 năm 1674, trước sinh nhật thứ mười, Công nương Charlotte đã ký thỏa thuận với Ngài Edward Henry Lee, và hai người kết hôn vào ngày 6 tháng 2 năm 1677, vào năm Charlotte được mười ba tuổi. Khi Charles Stewart, Công tước thứ 6 xứ Lennox qua đời vào năm 1673, Edward được phong làm Bá tước xứ Lichfield. Của hồi môn của Charlotte được thỏa thuận là 18.000 bảng Anh và chồng Edward được nhận khoản trợ cấp 2.000 bảng Anh mỗi năm.[6]
Francis Henry Fitzroy Lee (10 tháng 9 năm 1692 – mất 1730).
Elizabeth Lee (26 tháng 5 năm 1693 – 29 tháng 1 năm 1741); kết hôn lần 1 với Francis Lee, em họ. Có một con trai và hai con gái, người con cả, Elisabeth (mất năm 1736 tại Lyon) kết hôn với Henry Temple, con trai của Henry Temple, Tử tước Palmerston thứ 1. Tái hôn với Edward Young, năm 1731, tác giả cuốn Night-Thoughts, có một con trai. Có thông tin rằng Edward Young không bao giờ quên được cái chết của Elizabeth.
Barbara Lee (3 tháng 3 năm 1695 – mất năm 1729), kết hôn với George Browne, Nam tước thứ 3 xứ Kidington.
Mary Isabella Lee (6 tháng 9 năm 1697 – 28 tháng 12 năm 1697).
Fitzroy Lee (10 tháng 5 năm 1698 – chết trẻ).
Phó Đô đốc FitzRoy Henry Lee (2 tháng 1 năm 1700 – tháng 4 năm 1751), Thống đốc bang Newfoundland.
^Nguyên văn là:"we know but little of her except that she was beautiful."
^Nguyên văn là:"rivaled her mother in beauty, but was far unlike her in every other respect."
^Nguyên văn là:"I must tell you I am glad to hear you are with child, and I hope to see you here before it be long, that I may have the satisfaction myself of telling you how much I love you, and how truly I am your kind father, Charles Rex"
Jameson, Anna (1833). The Beauties of the Court of Charles the Second: A Series of Memoirs Biographical and Critical. Henry G Bohn, York St, Covent Garden, London.
