इसके तुरंत बाद, आराधनालय के निर्माण की अनुमति रद्द कर दी गई और आंशिक रूप से निर्मित इमारत 1864 में विध्वंस के कारण ध्वस्त हो गई।
विजय प्राप्त करने वाले आक्रमणकारी नहीं चाहते थे कि उनके शासन में ऐसा महत्वपूर्ण देशी सांस्कृतिक स्थल खड़ा किया जाए।