Jednolodní raně gotický kostel Panny Marie byl zmíněn v Hvarském statutu z roku 1331. Byl rozšířen na tři námořnictva a pak pravděpodobně opevněn věží. Předpokládá se, že celý kostel byl opevněn v roce 1535. Díky kostelní pevnosti Panny Marie se lidé Jelsy bránili před útokem alžírského žebráka Uluç Aliho v roce 1571. Farní kostel má dnes čtyři kaple: dvě větší z období 17. století a dvě menší z 19. století. První kaple na pravé straně obsahuje obraz nazvaný „Matka Boží a mučení Fabiana a Sebastiana“, namalovaný vlámsko-benátským malířem P. de Costerem. V první kapli vlevo je reliéf Antonio Poro. Dnes se kostel nazývá „kostel Nanebevzetí Panny Marie“.