La Iglesia gótica de Nuestra Señora, de una sola nave, se mencionó en el Estatuto de Hvar de 1331. Se expandió a tres naves y luego probablemente se fortificó con una torre. Se cree que toda la iglesia fue fortificada en 1535. Gracias a la Iglesia-Fortaleza de Nuestra Señora, la gente de Jelsa se defendió de un ataque en 1571 por el argelino suplica a Uluç Ali. Hoy la iglesia parroquial tiene cuatro capillas: dos más grandes que datan del siglo XVII y dos más pequeñas que datan del siglo XIX. La primera capilla a la derecha contiene una pintura llamada "Madre de Dios y la tortura de Fabián y Sebastián", pintada por un pintor flamenco-veneciano P. de Coster. En la primera capilla a la izquierda hay un relieve de Antonio Poro. Hoy la iglesia se llama la "Asunción de la Iglesia de María".