12వ శతాబ్దంలో, ఈ ఇల్లు పెలె టవర్ కంటే కొంచెం ఎక్కువగా ఉన్నప్పుడు, ఇది డి మోర్విల్లె కుటుంబానికి చెందినది (ఈ కుటుంబంలోని అత్యంత కుప్రసిద్ధ సభ్యులలో ఒకరైన హగ్ డి మోర్విల్లె, 1170 లో సెటర్బరీ కాథెడ్రల్లో ఉన్న అజేయ బెకెట్).
12 వ శతాబ్దం నాటికి ఈ ఇల్లు ఒక విశాలమైన నిర్మాణంగా మారింది, మరియు డి మోర్విల్లె కుటుంబం దానిని కొనుగోలు చేయలేకపోయారు.