Вихованець «Лідс Юнайтед», де тоді грав його старший брат Едді Грей. У дорослому футболі Френк дебютував дебютував 10 лютого 1973 року в поєдинку з «Лестер Сіті» (0:2), але тривалий час був запасним гравцем, програючи конкуренцію зліва у захисті більш досвідченому Террі Куперу. У 1973 році він вийшов із командою у фінал Кубка володарів кубків, в якому «Лідс» програв «Мілану» 0:1. У тому ж році він грав із клубом і у фіналі Кубка Англії, програвши з тим же рахунком «Сандерленду». Також Грей виграв з командою чемпіонат Англії в 1974 році, але зіграв у тому турнірі лише 6 ігор.
Лише після уходу Купера в 1975 році Грей став основним захисником «Лідса». У тому ж році він дійшов з командою до фіналу Кубка чемпіонів, але і тут «Лідс» програв, на цей раз «Баварії» з рахунком 0:2. Всього Френк провів у рідному клубі сім сезонів, взявши участь у 153 матчах чемпіонату.
У 1979 році Грей приєднався до «Ноттінгем Форест» за 500 000 фунтів стерлінгів, який очолював Браян Клаф, який раніше працював з шотландцем у «Лідсі». Грей відразу став основним гравцем і зіграв у своєму другому фіналі Кубка європейських чемпіонів в 1980 році, завдяки чому він став першим гравцем, який з'явився у фіналі у складі двох різних англійських клубів. Цього разу матч був успішним, оскільки «Форест» переміг з рахунком 1:0 західнонімецький «Гамбург». Того ж року він виграв із клубом Суперкубок Європи та вийшов із командою у фінал Кубка англійської ліги, але «Ноттінгем» програв там «Вулвергемптон Вондерерз».
У 1981 році Грей повернувся до «Лідса», прийнявши запрошення головного тренера та колишнього товариша по команді Аллана Кларка. Трансферна угода за 300 000 фунтів стерлінгів повернула Грея на «Елленд Роуд», але в першому сезоні після повернення Френка «Лідс» вилетів з вищого дивізіону. Через це Кларк був звільнений, а брат Френка Едді Грей очолив команду. Молодший Грей грав чотири роки під керівництвом брата, але «Лідс» так і не зміг повернутись до еліти, після чого в 1985 році обидва брати покинули рідний клуб. Загалом Френк Грей зіграв за «Лідс» 396 матчів і забив 35 голів.
Згодом з 1985 по 1989 рік грав у складі «Сандерленда», а завершив ігрову кар'єру у команді «Дарлінгтон», за яку виступав протягом 1989—1992 років і був граючим тренером. В подальшому тренував ряд невеликих англійських клубів.
Виступи за збірну
7 квітня 1976 року дебютував в офіційних іграх у складі національної збірної Шотландії в товариському матчі зі Швейцарією (1:0).
У складі збірної був учасником чемпіонату світу 1982 року в Іспанії, де зіграв у всіх трьох матчах, але його команда не вийшла з групи.
Загалом протягом кар'єри у національній команді, яка тривала 8 років, провів у її формі 32 матчі, забивши 1 гол.
