S největší pravděpodobností byla postavena v roce 1420 jako kolonie benediktinských uprchlíků z Friulianského kláštera svatého Petra v Rožaci (San Pietro di Rosazzo), po tomto opatství bude později pojmenováno celé osídlení. Jeho původní podoba se dnes zachovala jen velmi málo: v roce 1506 opat opatimim Šimun postavil nebo zrekonstruoval kostel podle nápisu nad portálem; koncem 18. století byl kostel důkladně zrekonstruován av roce 1930 byl značně rozšířen. Mezi jeho atrakce patří replika jednoho z Mestrovićových reliéfů.

Od nejstarších dob, kdy ještě bylo izolováno, bylo opatství místem, kde se konaly soudní procesy a sloužilo jako výstaviště, které v den svatého Jakuba přitahovalo návštěvníky z okolní krajiny k tancům a prodejům a nákupům zboží a nachází se v jeho okolí bylo prvním pohřebištěm pro mrtvé v Opatiji, zatímco v 19. století to bylo také místo první školy v Opatiji. Budova přecházela z ruky do ruky celou řadu náboženských řádů, od benediktinů a augustiniánů až po paulisty a jezuity. Dnes se zde kromě modliteb a mší konají také komorní koncerty.