Die einschiffige frühgotische Frauenkirche wurde im Hvarer Statut von 1331 erwähnt. Sie wurde auf drei Schiffe erweitert und dann höchstwahrscheinlich mit einem Turm befestigt. Es wird vermutet, dass die gesamte Kirche im Jahre 1535 befestigt wurde. Dank der Kirchenfestung Unserer Lieben Frau verteidigten sich die Einwohner von Jelsa gegen einen Angriff des algerischen Bettlers Uluç Ali im Jahre 1571. Heute hat die Pfarrkirche vier Kapellen: zwei größere aus dem 17. Jahrhundert und zwei kleinere aus dem 19. Jahrhundert. Die erste Kapelle rechts zeigt ein Gemälde mit dem Titel "Muttergottes und die Folter von Fabian und Sebastian", das von einem flämisch-venezianischen Maler, P. de Coster, gemalt wurde. In der ersten Kapelle links befindet sich ein Relief von Antonio Poro. Heute heißt die Kirche "Kirche Mariä Himmelfahrt".