Согласно легенде, в 1316 году во время охоты великий князь Гедимин обнаружил прекрасное место недалеко от города Кернаве, решил воздвигнуть на нём замок и перенести сюда столицу. В письменных источниках Старый Тракай впервые упоминаются в 1337 году. До 1323 г. в Сенейи Тракай находилась столица Литвы. Во второй половине XIV века там уже стоял каменный замок. Правил им в 1337—1382 сын Гедимина князь Кейстут. Около 1350 года в этом замке родился Витовт. В 1375 году Кейстут перенёс свою столицу из Старого Тракая в защищённые озером Новый Тракай, где был построен Полуостровной замок. Старый замок в 1391 году был разрушен и больше не восстанавливался. Участок земли с остатками замка Витовт в 1405 году подарил монахам бенедиктинцам. Монастырь стоит на старом замчище. В конце 14 – начале 15 в для усиления обороны Тракая от Тевтонских рыцарей был заложен островной замок, который долгое время оставался резиденцией Великих Князей Литовских.