Az ősrégi Osl vagy Osth nemzetségből származó nemesi asszonyfalvi Ostffy családnak a sarja. Apja asszonyfalvi Ostffy László (fl.1447–1483), Sopron vármegye főispánja 1462 és 1464 között, soproni kapitány, földbirtokos, anyja Lúcia (fl.1468) asszony. Az apai nagyszülei idősebb asszonyfalvi Ostffy László (fl.1419–1440), Sopron vármegye főispánja 1435 és 1439 között, földbirtokos és felsőlendvai Széchy Anna (fl.1436) voltak. Az apai nagyanyai dédszülei felsőlendvai Széchy János (fl.1389–1419) mester, földbirtokos és monyorókeréki Ellerbach Katalin voltak. Ostffy Ferenc fivére asszonyfalvi Ostffy László, veszprémi alispán, földbirtokos.