Гросо је рођен у Риму али је одрастао у Кјетију где се његова породица вратила. Тамо је фудбал почео играти у млађим узрастима Ренато Курија а касније и у сениорима где је био кључни играч првог тима. Током три сезоне наступања за клуб, Гросо је скупио 108 службених наступа те је на позицији полушпица и левог крила постигао импресивних 47 голова.
У лето 1998. Гросо је продат у Кјети за непознат износ. Захваљујући одличним играма у новом клубу, Гросо је привукао интерес екипа из Серија А. Тако га је у своје редове довела Перуђа током јула 2001. Иако је до тада играо као полушпиц, Перуђин тренер Козми га је пребацио на место левог крила. Са клубом је 2003. освојио Интертото куп а исте године је дебитовао у репрезентацији Италије. Током зимског прелазног рока у јануару 2004, Фабио Гросо је продат тадашњем друголигашу Палерму.
Са сицилијанским клубом се квалификовао у Серију А, и са њима у сезони 2005/06. освојио одлично шесто место и изборио наступ у Купу УЕФА. Тадашњи италијански селектор Марчело Липи уврстио је Гроса на списак репрезентативаца за предстојеће Светско првенство у Немачкој 2006. Уз њега, на списку су се нашла још три Палермова играча: бекови Кристијан Закардо и Андреа Барзаљи и везњак Симоне Бароне. Након освајања титуле светског првака, где је Гросо дао велики допринос (гол у полуфиналу и реализовани пенал у финалу), играч је продат миланском Интеру.
Интер га је купио за пет милиона евра, а Палерму је уступљен и Паоло Делафјоре.[1] Међутим, тамо је већином коришћен као замена на утакмицама тако да је већ након једне сезоне отишао у француски Лион.[2] Вредност трансфера је износила 7,5 милиона евра а играчу је додељен дрес са бројем 11. Већ у дебитантској сезони, Гросо је са Лионом освојио дуплу круну, односно првенство и национални куп. Током друге сезоне играо је мање, делом због повреде због чега га се повезивао са повратком у Италију.
Дана 31. августа2009. потврђен је Гросов повратак у Серију А након две године у Француској. Наиме, довео га је торински Јувентус који је био у потрази за одбрамбеним играчем. Са Старом дамом је у сезони 2011/12. освојио свој други скудето након чега је објавио крај играчке каријере.
Репрезентативна каријера
Гросо је са Италијом наступао на Светском првенству 2006. где је са Азурима освојио титулу светског првака. У полуфиналном сусрету против домаћина Немачке постигао је кључни погодак током 119. минута продужетка.[3] У самом финалу против Француске, питање победника се одлучивало на једанаестерце. Гросо је био последњи извођач а његов реализовани казнени ударац је Италији осигурао светски наслов.[4]
Нови италијански селектор Роберто Донадони користио га је на Европском првенству 2008. Тамо је одиграо сва три сусрета групе против Холандије,[5]Румуније[6] и Француске.[7] У четвртфиналном двобоју против каснијег првака Шпаније, победник се као и пре две године одлучивао једанаестерцима. Гросо је био први извођач, и био је прецизан са беле тачке. Међутим, Италија је испала због промашаја Де Росија и Ди Наталеа.[8]
Последњи Гросов већи репрезентативни турнир био је Куп конфедерација 2009. Италија је тамо неочекивано испала већ у групи а Гросо је одиграо свих 90 минута у сусретима против САД[9] и Египта.[10]