Indien u wandelt door het oude centrum komt u vanzelf langs de Orthodoxe Piatnickaja kerk (Sint Parasceve Orthodoxe kerk). In de straat van deze kerk staan diverse kraampjes, waar u typisch Litouwse, maar ook Russische souvenirs kunt kopen.

De Piatnickaja kerk is gebouwd in 1345 op de plaats waar voorheen een tempel stond waar de heidenen hun God van het bier, Ragutis, aanbaden. Deze kerk werd toen gebouwd voor Marija, de vrouw van groothertog Algirdas.

Nadat de Piatnickaja kerk was platgebrand, werd aan het einde van de 16de eeuw de Orthodoxe kerk herbouwt. In 1611 kwam de kerk met aangrenzende huizen en het aalmoezeniershuis in het bezit van de Uniates.

De Uniate kerk, ook wel de Griekse of oosterse Katholieke Kerk genoemd, kwam in 1596 tot stand, toen de aartsbisschop van Kiev en vele Orthodoxe bisschoppen van het Groothertogdom Litouwen de unie van Brest (tegenwoordig Wit-Rusland) tekende. Het groothertogdom Litouwen bestond in die tijd uit delen van de Oekraïne en Wit-Rusland, die nauw samenwerkten met Polen.

De kerk werd slecht onderhouden door de Uniates, zodat in 1655 een restauratie volgde.

In 1705 en 1708 bezocht Tsaar Peter I de kerk. Hij doopte in 1705 in deze kerk de negroïde grootvader van de Russische dichter en schrijver Aleksandr Pushkin (1799-1837). Abrahm Hannibal, geboren in Ethiopië, was naar Rusland gekomen om als slaaf in het leger van Tsaar Peter I te dienen.
De roman in vers “Evgenii Onegin” van Pushkin uit 1833, wordt beschouwd als het grootste meesterwerk van Russische literatuur.

Tussen 1794 en 1864 was de kerk gesloten en veranderde in ruïnes. Na de opstand van 1863, werd er onder leiding van architect N. Tciagin in 1864 een grotere kerk op deze plaats gebouwd, dan zijn neo-byzantijnse voorganger.