Volgens verhalen begon Gediminas in 1321 met de bouw van het eerste kasteel op een schiereiland van Trakai tussen de meren Galvė en Luka. De hoofdstad werd vervolgens verplaatst van Kernavė naar Trakai. In 1323 werd Vilnius de nieuwe hoofdstad van Litouwen.

Groothertog Kęstutis, zoon van Gediminas, vestigde zich in Trakai. De bouw van het kasteel zou in 1410 voltooid zijn. Het terrein was ongeveer 4 hectare groot en bevatte 11 torens van verschillende grootte. Ook werd er begonnen aan de bouw van een tweede kasteel op een eiland in het Galvė meer. Er ontstond een klein stadje in de buurt van de kastelen. Naast de twee stenen kastelen heeft er in Trakai ook nog een derde houten kasteel gestaan.

Na het afbouwen van de kastelen werd er een katholieke kerk gebouwd.

Trakai werd pas echt bekend toen Vytautas (1392-1430), de zoon van Kęstutis, zijn groothertogdom vanuit deze plaats ging besturen. Hij is geboren in Trakai en wordt algemeen gezien als de grootste heerser van Litouwen. Onder zijn heerschappij groeide Trakai uit tot een politiek en administratief centrum.

Het Litouwse rijk was het grootste rijk in Europa en liep van de Baltische zee tot aan de Zwarte zee.

Opvallend is dat de stad Trakai werd gebouwd door mensen van verschillende nationaliteiten. Er woonden Karaites, Tartaren, Litouwers, Russen, Polen en Joden.

De Karaites zijn afkomstig van de Krim. Zij bevinden zich al sinds 1397 in Trakai en zijn destijds met groothertog Vytautas meegekomen naar Litouwen om hem te beschermen en te bedienen. Het waren er bijna 400. Momenteel wonen er nog ongeveer 250 karaites in Trakai en een paar andere plaatsen in Litouwen. Zij spreken nog steeds hun eigen taal, welke afgeleid is het van het Turks. Hun godsdienst bevat elementen van het Jodendom en de Islam.

In 1430 zou Vytautas gekroond worden tot koning, maar dit is niet doorgegaan, omdat de Poolse leiders dit hebben geblokkeerd. Daarom was Jogaila, die heerste over Polen en Litouwen, persoonlijk naar Trakai gekomen om dit te regelen. Vytautas ontving echter nooit de kroon, omdat hij korte tijd hierna onverwacht stierf na een valpartij van zijn paard. Het is echter niet uitgesloten, dat er sprake was van vergiftiging door voorstanders van Jogaila, die bang waren voor machtsverlies. Vytautas was toen al 80 jaar oud. Het eilandkasteel werd hierna lange tijd niet veel meer gebruikt.

In de 16^e eeuw verloor Trakai zijn politieke betekenis en ook de economie was dalende. Tijdens de oorlog met Rusland in de 17^e eeuw werd Trakai geplunderd en in brand gestoken. Ook de kastelen werden vernield.

Na de eerste oorlog werd Trakai verdeeld in een Litouws en Pools deel. Het westelijk deel behoorde toe aan Litouwen. Het oostelijk deel, waaronder de stad zelf, behoorde toe aan het Poolse rijk. De Poolse regering propageerde toerisme en watersport en startte in 1929 met het de restauratie van het kasteel. Nadat Litouwen in 1939 weer in handen kreeg, werd de restauratie van het kasteel voortgezet totdat deze werd onderbroken door de tweede wereldoorlog met Duitse en Russische bezettingen. In 1962 werd er een historisch museum in het kasteel geopend.