Nazwa kościoła pochodzi od dwóch apostołów Jezusa, Filipa i Jakuba. Ich nazwa pochodzi od pierwotnego kościoła, który został zniszczony przez Wenecjan w XII wieku. Na swoim miejscu opat Piotr Zadranin wzniósł nowy kościół w XIV wieku i poświęcił go apostołom Filipowi i Jakubowi oraz Najświętszej Maryi Pannie. Kościół został zniszczony w XVI wieku podczas najazdów tureckich na te tereny.