बाद में उन्होंने अपनी प्रतिष्ठा को मजबूत करने के लिए इसे फिर से बनाया, लेकिन 1868 में शाही शक्ति के मेइजी पुनर्स्थापन ने अपने शोगुनेट को समाप्त कर दिया।
मेइजी पुनर्निर्माण द्वारा इसे जलाए जाने के बाद उन्होंने अपनी इमारत का पुनर्निर्माण किया।