Robert był wraz z żoną regentem w okresie małoletności jej syna z pierwszego małżeństwa, hrabiego Dirka V. Ten nadał Robertowi w lenno ziemie we Fryzji, skąd wziął się przydomek Roberta.
W 1070 r. zmarł starszy brat Roberta, Baldwin VI Flandryjski, pozostawiając dwóch nieletnich synów, z których najstarszy, Arnulf III Nieszczęśliwy, został jego dziedzicem w hrabstwach Flandrii i Hainaut. Ze swoimi pretensjami do tego pierwszego hrabstwa wystąpił jednak Robert i, pomimo uzyskania przez Arnulfa pomocy króla Francji Filipa I, pokonał bratanka 22 lutego1071 r. pod Cassell. Arnulf zginął na polu bitwy, a Robert został kolejnym hrabią Flandrii.