До обрання на московську кафедру був ігуменомСоловецького монастиря, де виявив себе здібним керівником. Через незгоду з політикою Івана Грозного і відкритий виступ проти опричнини потрапив в опалу. Рішенням церковного собору був позбавлений сану і відправлений у заслання до Твєрського Отроч Успенського монастиря, де був убитий Малютою Скуратовим.
У 1652 році за ініціативи патріарха Никона мощі Пилипа були перенесені до Москви. Шанований як святитель Пилип Московський.
За однією з версій, з митрополитом Пилипом ІІ пов'язують появу вислову «фільчина грамота»[3].