Dawną siedzibą Wielkich Książąt Litewskich był tak zwany Zamek Dolny, usytuowany na placu katedralnym. Zamek został wybudowany za czasów panowania Aleksandra Jagiellończyka. Jest to obiekt reprezentujący w głównej mierze styl późnogotycki, a przy jego budowie pracowali znani architekci (między innymi Benedykt Sandomierzanin).
W architekturze zamku można odnaleźć również elementy będące reprezentantami innych stylów. To renesansowa attyka wieńcząca cały gmach oraz gotycki wystrój wschodniego skrzydła.