Ruiny zamku krzyżackiego znajdują się na wysepce na Jeziorze Ełckim. Obecnie połączona jest ona z lądem groblą usypaną w XIX w. oraz kamiennym mostem. Ruiny nie są udostępniane dla turystów i wejście do nich jest niemożliwe. Można je jedynie oglądać z zewnątrz. Władze miasta szukają inwestora i chcą stworzyć w tym miejscu reprezentacyjną atrakcję Ełku.
Zamek został zbudowany w XIV w. na miejscu drewnianej warowni. Wcześniej istniał tu gród Galindów, którzy opuścili go uciekając przed krzyżakami. Było to centrum administracyjne miejscowej komturii, a po sekularyzacji zakonu swoją siedzibę miał tu starosta. Zamek pełnił swoje funkcje do końca XVIII w., a w XIX w. przekształcony został w więzienie, które działał aż do połowy XX w. Budowla przetrwała do dziś w wyglądzie z czasów przebudowy w XVIII i XIX w. Stoją tu dwa duże budynki mieszkalne z resztkami murów, a obok kilka domów, które w przeszłości należały do gospodarstwa zamkowego. Na wyspie znajdują się ponadto fundamenty wcześniejszych gotyckich budowli wchodzących w skład warowni.