12 वीं शताब्दी में, जब घर में पिले टॉवर से थोड़ा अधिक शामिल था, तो यह डे मोर्विल परिवार के स्वामित्व में था (इस परिवार के सबसे कुख्यात सदस्यों में से एक, ह्यूग डी मोर्विल, थॉमस की हत्या करने वाले चार नाइट्स में से एक था?
12 वीं शताब्दी तक घर एक विशाल संरचना बन गया था, और डी मोरविले परिवार इसे खरीदने का खर्च नहीं उठा सकता था।