Minamoto no Yoshitsune
Pada 15 April 1185, Yoritomo merasa tidak senang kaisar mengangkat kelompok samurai dari Kanto tanpa rekomendasi informal darinya lebih dulu. Yoritomo memerintahkan kelompok samurai tersebut untuk tetap berada di Heian-kyo, dan mengabaikan perintah kembali ke wilayah Kanto. Pada bulan yang sama, saingan Yoshitsune sekaligus perwira bekas pendamping Yoshitsune, Kajiwara Kegetoki mengirim surat kepada Yoritomo. Di dalam surat ini, Kagetoki menulis bahwa Yoshitsune telah berlagak sebagai satu-satunya pahlawan yang berjasa dalam menghancurkan klan Taira. Sementara itu, Yoshitsune tidak mengindahkan perintah Yoritomo dan tetap membawa Taira no Munemori dan putranya sebagai tawanan ke Kamakura. Yoshitsune berangkat dari Heian-kyo menuju Kamakura pada 7 Mei 1185. Sesampainya Yoshitsune di Kamakura, Yoritomo secara terang-terangan tidak mengizinkannya memasuki kota. Yoshitsune waktu itu dipaksa menunggu di kuil Manpuku-ji yang ada di Koshigoe, pinggiran kota Kamakura, dan hanya para tawanan saja yang diizinkan masuk kota. Pada 24 Mei 1185, Yoshitsune menulis surat pernyataan yang ditujukan kepada Yoritomo bahwa dirinya tidak bermaksud memberontak. Surat ini nantinya terkenal sebagai Surat Koshigoe ("Koshigoe-jō") dan dititipkannya kepada Ōe no Hiromoto yang merupakan pengikut tepercaya Yoritomo. Surat bernada protes ini tidak ditanggapi Yoritomo.