Etwa in der Mitte des 11. Jahrhunderts wurde die „Arx Arnsburga“, auch Burg Arnesvelde genannt, gebaut, deren Ausmaße durch die äußeren Wallgräben im Forst Hagen im Süden der Stadt noch gut erkennbar sind. Das Wappen der Stadt gibt die Burg Arnesvelde im oberen Wappenfeld wieder. Auf der Burg beheimatete Vögte sind 1295 und 1304 bezeugt. 1326 verlegte der Schauenburgische Graf Johann III. den Sitz seines Vogtes nach Trittau und gab die Burg auf.