In de 16de eeuw was de kerk bijna geheel verwoest door twee branden. Het herbouwen duurde meer dan 50 jaar. Een eeuw later werd de kerk getroffen door oorlogsgeweld. Een brand in de 18de maakte verwoeste de kerk tot een complete ruïne. Het gebouw werd echter opnieuw hersteld, vlak voor de doortocht van Napoleon, die met een half miljoen soldaten op weg was naar Moskou. De kerk werd gebruikt als opslagplaats voor het leger en daarna als veldhospitaal voor zijn troepen.

Na de tweede wereldoorlog werd Litouwen een Sovjetrepubliek en de kerk werd gebruikt als archief. Pas in 1998 kregen de Franciscanen het bezit terug over hun kerk.

In 1864 was de kerk in zo’n slechte staat, dat de kerk werd gesloten door de Russische tsaar. De Franciscanen deden na de onafhankelijkheid van 1918 verschillende pogingen om de kerk weer hun eigendom te maken, maar deze mislukte allen. Dit was hetzelfde jaar waarin de boekdruk in het Latijnse schrift werd verboden in Litouwen. Sommige delen van de gotische constructie werden verwoest en er werden aanpassingen gedaan aan het interieur. De restauratie van de kerk is nog steeds bezig.