De kerk en het Orthodoxe klooster zijn gebouwd op deze locatie door het broederschap van de Heilige Drie-eenheid (Vader, Zoon en Heilige Geest) in 1567. De stenen kerk werd gebouwd in 1638. Tussen 1749 en 1753 werd de kerk gereconstrueerd en versierd in de rococo stijl door architect Jan Krzysztof Glaubitz (Jonas Kristupas Glaubitzas). Zijn geboortedatum is waarschijnlijk 1707, en hij stierf in 1767. Glaubitz werkte van 1737 tot aan zijn dood in Vilnius en bouwde aan diverse kerken voor verschillende geloven waaronder de Lutheranen, Katholieken, Orthodoxen en Joden. Enkele andere werken van Glaubitz zijn: Evangelische Lutherse kerk, reconstructie van voorgevel van de Sint-Jan kerk, Sint Catharina kerk en de Heilige drie-eenheid kerk met Basiliaanse Poort.

Rococo is een bouwstijl, in de eerste helft van de 18e eeuw in Frankrijk uit de barok ontwikkelt, waarin het rocaille (decoratieve stijl met motieven van schelpen, koralen enz.) een grote rol speelt.

In tegenstelling tot de meeste Orthodoxe kerken in Oost-Europa, die gebouwd zijn volgens de byzantijnse stijl, beschikt deze kerk over veel barokke elementen. De eenvoudige vroegbarokke torens klokkentorens vormen een rustige symmetrische buitenkant aan de kerk. De koepel is 49 meter hoog.

De binnenkant van de Orthodoxe kerk van de Heilige Geest is rijk versierd met decoratie uit de 18^e eeuw. De houten iconostase (wand met iconen), gemaakt in de laatbarokke stijl door J.K. Glaubitz, is bijzonder waardevol.

Op initiatief van Murajov werd de kerk gereconstrueerd. De koepel werd herbouwd en de voorgevel veranderd. Hierna is de kerk nauwelijks nog veranderd.

In de Orthodoxe kerk van de Heilige Geest liggen de goed bewaarde lichamen van drie gemartelde heiligen - Anthony, John en Eustachy: twee broers en een neef die stierven in 1347. Zij werden opgehangen aan een eik door Litouwse heidenen, omdat zij weigerde vlees te eten tijdens een feest. Ieder jaar worden de drie martelaren herdacht op 26 juni.