Zur Bedeutung des Namens gibt es drei unterschiedliche Theorien: Die erste besagt, dass der Name mit der Fellfärbung zu tun hat, abgeleitet von shiba-aka (), einem bräunlichen Rot-Ton. Eine andere mögliche Herkunft ist eine alte Bedeutung des Schriftzeichens shiba () für etwas Kleines. Eine weitere Möglichkeit ist die Ableitung vom Ortsnamen Shiba-mura () in der Präfektur Nagano. Das Schriftzeichen inu bzw. ken () bedeutet Hund.