12 वीं शताब्दी में, जब घर में पिले टॉवर से थोड़ा अधिक शामिल था, तो यह डे मोर्विल परिवार के स्वामित्व में था (इस परिवार के सबसे कुख्यात सदस्यों में से एक, ह्यूग डी मोर्विल, थॉमस की हत्या करने वाले चार नाइट्स में से एक था?
थॉमस बेकेट की मृत्यु के बाद उनका पार्थिव शरीर डी मोर्विल परिवार के घर में रखा हुआ था।