Zamek został wybudowany w 1507 r. z polecenia księcia Bogusława X, którego pomnik króluje przed wejściem do zamku. Pierwotnie miał on charakter gotycki, jednak już w 1580 r. zaczęła się jego przebudowa i nadano mu bardziej renesansowy charakter. Dodano duże okna a także wieżę. Zamek do końca XVII w. stanowił rezydencję dynastii Gryfitów. Po rozbiorach zamek początkowo służył za koszary wojskowe, zaś z początkiem XIX w. urządzono tutaj magazyny na zboże. Obecnie w zamku mieści się Muzeum Pomorza Środkowego, które wraz z Młynem i Bramą Młyńską, Spichlerzem Richtera i tzw. Dworkiem stanowi kompleks muzealny. Niezaprzeczalną atrakcją muzeum jest kolekcja obrazów Stanisława Witkiewicza, która jest największą kolekcją dzieł tego artysty na całym świecie.