På trods af sin indsats til støtte for hendes far, var Frederiks ægteskab med den britiske prinsesse ulykkeligt. Parret levede adskilt fra 1747, og de blev formelt separeret i 1755, efter at nyheden om Frederiks konversion var blevet kendt i 1754. Ægteskabet blev ikke formelt opløst, hvilket hindrede Frederik i at gifte sig igen. Hans far befalede i et aktstykke Frederik at lade den protestantiske tro uantastet i Hessen, og til sin fraskilte svigerdatter Marie gav han grevskabet Hanau, der herved blev udskilt af Hessen-Kassel. Frederik genså aldrig Marie, men børnene så han igen i 1782. I 1756 flyttede Marie til Danmark for at tage sig af sin afdøde søster Louises børn. Alle tre sønner flyttede med hende til Danmark, og to af dem, herunder Frederiks arving Vilhelm, giftede sig senere med danske kusiner. De to yngre sønner forblev i Danmark, hvor de gjorde karriere ved hoffet, mens den ældste Vilhelm vendte tilbage til Tyskland, da han arvede fyrstendømmet Hanau, og hvor han senere også efterfulgte sin far som landgreve af Hessen-Kassel.
Efter at være blevet formelt separeret fra Marie i 1755 gik Frederik i preussisk militærtjeneste. I 1760 efterfulgte han sin far som landgreve af Hessen-Kassel. På trods af Frederiks katolicisme, forblev landgrevskabet calvinistisk, og Frederiks børn blev opdraget som protestanter i Danmark.
Efter Maries død i 1772 giftede Frederik sig igen. Denne gang med prinsesse Phillipine, der var datter af markgreve Friederich Wilhelm af Brandenburg-Schwedt og Sophie af Preussen (søster til Frederik den Store). Det var Philippine, der i 1782 arrangerede en forsoning mellem Frederik og hans børn.
Frederik giftede sig 2. gang den 10. januar1773 i Berlin med prinsesse Philippine af Brandenburg-Schwedt (1745-1800), datter af markgreve Frederik Vilhelm af Brandenburg-Schwedt og Sophie Dorothea Marie af Preussen. På bryllupsdagen meddelte Phillipine sin kommende ægtemand, at hun af medicinske grunde aldrig kunne risikere at blive gravid. Ægteskabet forblev således barnløst. Dette hindrede dog ikke landgrevinden i at føde en søn, Georg Philippson, i 1777 under diskret ophold hos sin søster, hertuginden af Württemberg, Friederike Dorothea. Faderen til dette barn var Georg Ernst Levin af Wintzingerode, som Philippine giftede sig med i 1796, da deres respektive ægtefæller var døde.
