Святитель Филипп до избрания на московскую кафедру был игуменом Соловецкого монастыря, проявив себя там крепким хозяйственником и руководителем, при этом являя образец и в монашеском делании.
В 1566 году он стал митрополитом Московским и всея России. Во время этого служения он открыто выступал против опричнины царя Ивана IV Грозного. За это он попал в опалу, был лишен сана в 1568 году и отправлен в тверской Отроч Успенский монастырь.
Там, в конце декабря 1569 года, святитель Филипп был убит приближенным царя Малютой Скуратовым. Тело святого сначала похоронили в Отроче монастыре. В 1591 году монахи Соловецкого монастыря получили разрешение на перенесение мощей святого митрополита в родную для него обитель.
В 1652 году митрополит Никон (будущий патриарх) по благословению патриарха Иосифа торжественно доставил мощи в Москву. В руки святителя была вложена покаянная грамота царя Алексея Михайловича, в которой он молил о прощении грехов своего прадеда Ивана Грозного. Мощи святителя Филиппа были поставлены в Успенском соборе у южной двери алтаря.
На месте встречи святыни московским духовенством и народом поставили крест, от которого получила свое название Крестовская застава в Москве (у Рижского вокзала).