Der Shiba stammt von Jagdhunden aus den bergigen Regionen am Japanischen Meer ab, die zur Jagd auf kleines Wild und Vögel eingesetzt wurden. 1928 begann die systematische Zucht, nachdem dieser Hundetyp aufgrund von Kreuzungen mit englischen Jagdhunden selten geworden war. Im Jahr 1934 wurde dann der Standard des Shiba erstellt. Der Shiba hat 1937 in Japan den Status „Nationales Naturdenkmal“ erhalten.