Kiedy Joanna miała 2 lata jej ojciec wyruszył na IV wyprawę krzyżową, w wyniku której został w 1204 r. łacińskim cesarzem Konstantynopola. Opiekę nad Joanną i jej młodszą siostrą Małgorzatą sprawowała ich matka, Maria z Szampanii. W 1204 r. ona również wyruszyła na Wschód, gdzie zmarła na zarazę. Ojciec dziewczynek dostał się w 1205 r. do bułgarskiej niewoli i zmarł w jednym z bałkańskich zamków. Joanna została więc hrabiną Flandrii i Hainaut. Regencję na czas jej małoletności sprawował stryj, margrabia Filip z Namur. Filip przekazał wkrótce prawa do opieki nad dziewczynkami królowi FrancjiFilipowi Augustowi, który z kolei odsprzedał je Enguerradowi III de Coucy, który miał ambicję ożenić się z Joanną.
Podczas ich podróży do Flandrii Ferdynand i Joanna zostali napadnięci i uwięzieni przez kuzyna hrabiny, księcia Ludwika Francuskiego, syna Filipa Augusta i jego pierwszej żony, Izabelli z Hainaut, ciotki Joanny. Ludwik domagał się zwrotu wiana swojej matki, Artois, które jego ojciec zwrócił w 1200 r. hrabiom Flandrii. Małżonkowie odzyskali wolność dopiero po spełnieniu żądań francuskiego księcia.
W tym czasie Joanna samodzielnie rządziła Flandrią. Jej rządy upłynęły pod znakiem konfliktów z młodszą siostrą Małgorzatą, doszło nawet do wojny domowej. Nieszczęść dopełniła jeszcze klęska głodu. W 1225 r. pojawił się również człowiek podający się za cesarza Baldwina. Zyskał on szerokie poparcie wśród niższych warstw społeczeństwa, a jego rebelia była na tyle groźna, że o mało co nie kosztowała Joanny utratę tronu. Niebezpieczeństwo zostało zażegnane dzięki pomocy króla Ludwika VIII.