Во время учёбы в старшей школе Массапекуа в одноименной деревне, занимался борьбой, продолжил борцовскую карьеру в Nassau Community College, дважды получал статус всеамериканского спортсмена, в зачёте национальных первенств занимал пятое и второе места. Однако на четвёртом курсе обучения был отчислен за драку со школьным смотрителем. Учился в Hofstra University, откуда впоследствии перевёлся в Центральный Мичиганский университет — получил здесь степени в области биологии и психологии.
Прежде чем начать зарабатывать единоборствами, сменил множество профессий: был рабочим на стройке, разносчиком пиццы, вышибалой, агентом по продаже автомобилей.
Дебютировал в смешанных единоборствах на профессиональном уровне в августе 2000 года, выиграв у своего соперника техническим нокаутом за 35 секунд.
В 2005 году присоединился к крупнейшей японской организации Pride Fighting Championships и с этого времени регулярно выступал в Японии. Добавил в послужной список победы над такими местными японскими бойцами как Икухиса Минова, Рё Тёнан, Ёсукэ Нисидзима, но был побеждён Миновой в матче-реванше, кроме того, проиграл другому известному японскому бойцу Кадзуо Мисаки.
В июне 2007 года встретился с соотечественником Фрэнком Шемроком в бою за титул чемпиона Strikeforce в средней весовой категории. Во втором раунде Шемрок успешно провёл удушающий приём сзади, Барони потерял сознание, и была зафиксирована техническая сдача.
После боя с Шемроком выяснилось, что Барони провалил допинг-тест — в его пробе были обнаружены следы двух анаболических стероидов болденона и станозолола. В итоге Атлетическая комиссия штата Калифорния назначила ему штраф в размере 2500 долларов и на год отстранила его от соревнований. Впоследствии срок дисквалификации был сокращён до шести месяцев[1].
В марте 2008 года Фил Барони претендовал на титул чемпиона ICON Sport в среднем весе, но проиграл малоизвестному бойцу Кала Хосе техническим нокаутом в пятом раунде.
В мае 2008 года на турнире организации EliteXC потерпел поражение техническим нокаутом от Джоуи Вильясеньора.
В июле 2008 года выступил в Англии на турнире британского промоушена Cage Rage Championships, нокаутировал своего соперника в первом же раунде.
В июне 2009 года провёл ещё один бой в Strikeforce, на сей раз единогласным решением судей уступил Джо Риггсу.
В 2009—2011 годах вновь являлся бойцом UFC, однако большого успеха здесь не добился — долгое время простаивал из-за травмы плеча, а оба проведённых поединка, против Амира Садоллаха и Брэда Тавареса, проиграл. Из-за этого был досрочно уволен из организации[2][3][4].
В период 2011—2013 годов, помимо всего прочего, дрался в азиатских промоушенах ONE Championship и Dream[6][7].
В июле 2014 года выступил на турнире крупной американской организации Bellator, в первом же раунде техническим нокаутом проиграл здесь Каро Парисяну[8].
После достаточно длительного перерыва в 2018 году вернулся в ММА и продолжил выступать на небольших турнирах. Дрался голыми кулаками с Крисом Леденом, проиграл ему техническим нокаутом в первом раунде[9].
