12వ శతాబ్దంలో, ఈ ఇల్లు పెలె టవర్ కంటే కొంచెం ఎక్కువగా ఉన్నప్పుడు, ఇది డి మోర్విల్లె కుటుంబానికి చెందినది (ఈ కుటుంబంలోని అత్యంత కుప్రసిద్ధ సభ్యులలో ఒకరైన హగ్ డి మోర్విల్లె, 1170 లో సెటర్బరీ కాథెడ్రల్లో ఉన్న అజేయ బెకెట్).
హ్యూ డి మోర్విల్లె సెటర్బరీ కేథడ్రల్ వద్ద థామస్ బెకెట్ను చంపడానికి సహాయం చేశాడు.