Prvotna cerkev na svojem mestu je bila zgrajena po tradiciji iz leta 1291 kot zaobljuba med kugo. Na enem od gradov je cerkev svetega Sebastijana. Nad vhodnimi vrati je vklesan spominski napis, ki nakazuje, da je bila zgrajena "v slavo božjo in božjo Sebastijan" v času Gastalda Ivana Dotića leta 1562 (ad laudem Dei divique Sebastiani fraternitas fieri fecit tempore Joannis Dotich Castaldi 1562). Gastaldi Sebastian je bil vidni patricij iz družin Franković, Gladic in Stemberger. Večkrat je bilo poskusov rušenja cerkve, kar so občani preprečili. Po odstranitvi ruševin za temelje cerkve je bil odkrit poznoantični zid iz 4. stoletja, ki je sekundarno zakristija in sklenitev svetišča. Zadnjič je cerkev sv. Sebastian je bil obnovljen leta 1885, ko ga je na splošno obnovil današnji videz po načrtu G. Paulinicha, ki ga je navdihnila sprednja stran Kongresne cerkve. Cerkev je bila leta 1986 obnovljena in poslikana.