Enobrodna zgodnja gotska cerkev Gospe je omenjena v Hvarskem statutu iz leta 1331. Razširjena je bila na tri ladje in nato najverjetneje utrjena s stolpom. Menijo, da je bila celotna cerkev utrjena leta 1535. Po zaslugi cerkve-trdnjave Gospe so se Jelsečani branili pred napadom leta 1571 alžirskega bera Uluca Alija. Danes ima župnijska cerkev štiri kapele: dve večji iz 17. stoletja in dve manjši iz 19. stoletja. V prvi kapeli na desni je slika z naslovom Mati božja in mučenje Fabiana in Sebastiana, ki jo je naslikal flamansko-beneški slikar P. de Coster. V prvi kapeli na levi je relief Antonija Poro. Danes se cerkev imenuje "cerkev Marijinega vnebovzetja".