Tijdens de bezetting van Moldavië leerde Frederik Jozias Therese Stroffeck kennen, een gewone vrouw. Zij kreeg van hem een zoon, Frederik, op 24 september1789. Therese en Frederik Jozias trouwden met elkaar bij hun terugkomst in Coburg op 24 december. Zijn zoon werd daarna ook in de adelstand verheven als Freiherr von Rohmann, maar Frederik kon geen aanspraak maken op de titels van zijn vader, omdat hij niet van twee adellijke ouders was.
Na deze nederlaag verliet hij de Lage Landen, die Habsburgse diplomaten al hadden opgegeven. Frederik Jozias werd furieus toen hij dit hoorde en nam ontslag uit het leger. Hij trok zich terug naar zijn geboortestreek bij Coburg, waar hij ook stierf.