Kostel je pojmenován podle dvou Ježíšových apoštolů Filipa a Jakuba. Jejich jméno nesl původní kostel, který byl zničen Benátčany ve 12. století. Na jeho místo opát Peter Zadranin postavil ve 14. století nový kostel a zasvětil jej apoštolům Filipovi a Jakubovi a Panně Marii. Kostel byl zničen v 16. století během tureckých vpádů do těchto oblastí.