In de historische documenten over Vilnius worden drie kastelen vermeldt: het Hogere Kasteel en het Lagere Kasteel gelegen op en tegen de Heuvel van Gediminas. Dit is een typisch Litouwse heuvel, die op natuurlijke wijze ontstaan is. Een ander Kasteel werd gevestigd op de Drie kruizen heuvel, waarvan de drie witte kruizen te zien zijn vanaf de toren van Gediminas. Van het kasteel op de Drie kruizen heuvel zijn geen resten bewaard gebleven.

Tijdens de periode dat groothertog Gediminas het land bestuurde (1315-1341) werd een houten kasteel gebouwd, waarna in 1323 de hoofdstad van Litouwen werd verplaatst van Trakai naar Vilnius. Gediminas ging in het Hogere Kasteel wonen. Het kasteel werd voor het eerst beschreven op 2 oktober 1323 in het verdrag van Gediminas met de Bisschop van Riga en de Duitse orde.

Het kasteel ging in de tweede helft van de 14de eeuw tijdens aanvallen van de kruisvaarders in vlammen op.

Het duurde tot Vytautas de Grote het land regeerde (1392-1430) voordat het kasteel in 1419 herbouwd werd. Rond het kasteel werd een 320 meter lange vestingmuur gebouwd met drie torens. Op de binnenplaats stond het Gotische paleis van de groothertog, een kapel en sommige andere gebouwen. In 1610 werd er ook nog een gevangenis aan toegevoegd voor edelen. Het kasteel doorstond acht aanvallen door de ridders van de Teutoonse orde, versterkt met Engelse, Franse, Italiaanse en Vlaamse ridders.

Ondanks de drie meter dikke muren werd het kasteel zwaar beschadigd tijdens de oorlog met de tsaar van Moskou, Aleksei Mikhailovich, tussen 1655 en 1661.

Tijdens de opstand van 1831 werd op bevel van de Russische tsaar de heuvel van Gediminas toegevoegd aan de vesting. Het geheel werd verstekt en er kwam een gracht omheen.

Het kasteel bleef geruïneerd tot begin van de vorige eeuw. In 1930 werd de bovenbouw verwijderd om een nieuwe derde verdieping te bouwen. De restauratie was van korte duur want tijdens de tweede wereldoorlog werd het kasteel opnieuw beschadigd. Tussen 1956 en 1960 werd het kasteel gerenoveerd om vervolgens in gebruik te worden genomen als een etnografisch en historisch museum.

De westelijke toren van het Hogere Kasteel wordt tegenwoordig de toren van Gediminas genoemd. Het heeft een achthoekig ontwerp, met stenen muren en fundering in een gotische stijl. Vlak bij de toren bevinden zich enkele de resten van het paleis, met gotische inslag. Dit paleis had oorspronkelijk vier meter dikke muren. Ook zijn er enkele restanten van de vestingmuur rond het kasteel te zien.

Vanaf de toren heeft u een prachtig uitzicht over de oude stad van Vilnius met zijn vele kerken en prachtige andere gebouwen zoals de universiteit.

De Gediminas toren is een belangrijk staatkundig en historisch symbool van Vilnius en Litouwen: het bijzondere monument wordt vermeld in talrijke Litouwse patriottische gedichten. De vlag van Litouwen werd op 7 oktober 1988 gehesen op de toren door de onafhankelijkheidsbeweging die bezig was met een poging om de Litouwse staat te herstellen.

U kunt de toren van Gediminas te voet bereiken via het pad dat begint aan de achterzijde van de Kathedraal van Vilnius, nabij het monument van Gediminas. Vanaf de Arsenalo straat kunt u ook gebruik maken van de speciale lift.

Het adres van het kasteel is Arsenalo straat 5. In de toren is een historisch museum gevestigd. Het museum toont modellen van de kastelen in vilnius van de veertiende tot zeventiende eeuw. Daarnaast wapens, harnassen en enkele kunstwerken met beschrijving uit deze tijd. Vanaf de top van de toren heeft u een prachtig uitzicht over het oude centrum van Vilnius.