Cerkev je poimenovana po dveh Jezusovih apostolih Filipu in Jakovu. Njihovo ime je nosila prvotna cerkev, ki so jo Benečani uničili v 12. stoletju. Na njenem mestu je opat Peter Zadranin v 14. stoletju postavil novo cerkev in jo posvetil apostoloma Filipu in Jakobu ter Blaženi Devici Mariji. Cerkev je bila porušena v 16. stoletju med turškimi vpadi na ta območja.