Muzeum zajmuje najstarsze skrzydło zamku zwane Domem Zakonnym oraz dwie przylegające do niego baszty: Młyńską i Prochową. W dawnych średniowiecznych pomieszczeniach mieszkalnych knechtów i służby znajduje się wystawa etnograficzna „Kultura materialna Kaszubów Bytowskich”. Każda z sal poświęcona jest odmiennej grupie zabytków etnograficznych, w tym dotyczącej uprawie ziemi i hodowli zwierząt, rybołówstwu, pszczelarstwu, rzemiosłu. Do najbardziej archaicznych obiektów zaliczyć należy drewniane jarzma na krowy i jarzma podwójne na woły. W zbiorach dotyczących rybołówstwa znajduje się około 20 ości do kłucia ryb. Pszczelarska kolekcja obejmuje 30 uli słomianych (koszek) i 5 uli domkowych, a także zbiór narzędzi, służących do obsługi pszczelich rojów. Jednym ze starszych eksponatów związanych z obróbką włókna lnianego jest szczotka do czesania lnu datowana na II połowę XVII wieku. Z ostatniej z sześciu sal wchodzimy krętymi ceglanymi schodami na pierwsze piętro. Znajdują się tutaj wystawy o charakterze historycznym, nawiązujące do czasów krzyżackich oraz panowania Gryfitów. W średniowieczu było to główne piętro zamku, będące siedzibą zarządcy krzyżackiego – prokuratora i jego przybocznego oddziału rycerstwa. Znajdowało się tu pięć komnat. Pierwsza to dawny refektarz – jadalnia, następnie komnata urzędnika krzyżackiego, kaplica zakonna oraz dwie ostatnie sale pełniące za czasów krzyżackich funkcję dormitorium, czyli sypialni. Refektarz wyposażony był skromnie. Posiadał obszerny stół i ławy, szafę lub skrzynię na naczynia, pulpit do czytania Biblii i Reguły Zakonnej oraz lavabo, czyli niewielką umywalnię wnękową. Było to zapewne najprzytulniejsze wnętrze zamkowe. W czasie dnia oświetlane sporych rozmiarów oknami, po zmroku zaś ogniem z kominka oraz świecami i pochodniami. Prezentowane są w nim średniowieczne elementy uzbrojenia, kopie broni średniowiecznej, zbroja płytowa. Na szczególną uwagę zasługują zabytki związane z miastem: miecz bytowskiego kata z XVI/XVII wieku oraz replika gotyckiego tłoka pieczętnego z herbem Bytowa. Sale dawnego dormitorium zajmują wystawy poświęcone Gryfitom. W pierwszej z nich znajduje się kopia Wielkiej Mapy Księstwa Pomorskiego, opracowanej w XVII wieku na zlecenie księcia Filipa II, zwanej mapą Lubinusa. Na poddaszu znajduje się wystawa „Współczesna sztuka ludowa Kaszub”, a w Baszcie Młyńskiej wystawa poświęcona historii Bytowa.
