Zamek w Klume budowany był w latach 1234-1265. Pierwotnie pomyślany był jako obrona przed grożącym ponownym atakiem Khmerów, z tego też względu wyposażony został w wydolny system wentylacyjny, grube mury (grubość 12-18 cegieł w zależności od miejsca), nowoczesną broń oraz wielkie magazyny, a także zlokalizowano go na Wzgórzu Kości, najwyższym miejscu w mieście. Należał początkowo do króla, jednak podczas kryzysu na początku XIV wieku został przez władcę zastawiony rodowi von Aufsteherów i już nigdy do grupy państwowych nieruchomości nie powrócił. Nowi właściciele stworzyli pod zamkiem podziemny labirynt - jak głosi legenda, gigantyczne sumy, których dorabiali się na oszustwach, po dziś dzień spoczywają pośród plątaniny wypełnionych pułapkami korytarzy, a drogę do nich znali tylko seniorzy rodu Aufsteherów. Archeologom nigdy nie udało się tamtędy przejść, a wielu zginęło podejmując takie próby. Dziś labirynt jest zamknięty, z uwagi na to, że jego część się zawaliła. Ród od 1526 roku miał w tym miejscu swoją główną siedzibę. W tym okresie zamek znany był jako "Twierdza Czarnoleska". Aufsteherowie do zamku przyjmowali zbiegłych skazańców - z zachowanej dokumentacji wynika, że na ich usługach było przynajmniej 80 płatnych morderców, w tym cieszący się szczególnie złą sławą Maksymilian Nawłocki, mistrz wyrafinowanych tortur na kobietach. W 1698 roku ród zbuntował się przeciwko monarchii - powodem było to, że wydany został edykt przeciwko Zborowi Wiedzy Tajemnej i Duchowej, do którego przynależeli Aufsteherowie. Siły królewskie nie były w stanie w ciągu 20 lat zdobyć twierdzy, udało się to dopiero podstępem - skłoniono Marikę von Aufsteher do otwarcia magazynu, gdzie ród stale sprowadzał nowe zapasy. Po wtargnięciu do zamku ród został w całości wymordowany, a twierdzę przekazano wiernym królowi Apfelbaumom. Duchowni ze Zboru zostali przegnani. Na miejsce wrócili w XIX wieku, a po wymarciu tamtejszej gałęzi Apfelbaumów w 1876 wykupili zamek. Zbór ma w nim swoją siedzibę do dziś. Jak mówią okoliczni mieszkańcy, w zamku straszy ostatnia głowa von Aufsteherów, Jan IX.
