L'église Notre-Dame à une seule nef et de style gothique primitif a été mentionnée dans le Statut de Hvar de 1331. Elle a été agrandie à trois nefs et probablement fortifiée d'une tour. On pense que toute l'église a été fortifiée en 1535. Grâce à l'église-forteresse de Notre-Dame, les habitants de Jelsa se sont défendus d'une attaque de 1571 de la part de l'Algérien mendiant Uluç Ali. Aujourd'hui, l'église paroissiale compte quatre chapelles: deux plus grandes datant du 17ème siècle et deux plus petites datant du 19ème siècle. La première chapelle à droite contient un tableau intitulé "Mère de Dieu et la torture de Fabian et Sebastian", peint par le peintre flamand-vénitien P. de Coster. Dans la première chapelle à gauche, il y a un relief d'Antonio Poro. Aujourd'hui, l'église est appelée "l'Assomption de l'Eglise de Marie".