योरिटोमो की धर्मपरायणता ने उसे अपनी सफलता का आनंद लेने के लिए थोड़ा और समय दिया-वह 52 वर्ष का था जब उसे एक घोड़े ने फेंक दिया और चोटों के कारण उसकी मृत्यु हो गई।
योरीटोमो की मृत्यु 65 वर्ष की आयु में बिस्तर पर हुई।