Der Ortsname geht auf einen Bauern namens Balder zurück, der im 14. Jahrhundert das Tal gerodet („geschwendet“) haben soll. 1451/1523 kam die Gegend von Balderschwang mit der Grafschaft Bregenz an Habsburg bzw. Österreich. Erst nach der Kleinen Eiszeit des 16.–18. Jahrhunderts begann die dauerhafte Besiedlung. Erstmals ganzjährig bewohnt wurde Balderschwang 1684 durch einen klösterlichen Alpverwalter aus Weingarten. Bis ins 18. Jahrhundert wurde Balderschwang vorwiegend als Almdorf für die tiefer gelegenen Wälderorte genutzt. Um 1800 gab es 16 Familien im Tal, die im Jahr rund 1.400 Tonnen Käse produzierten.