Zahlreiche repräsentative Bauten aus dem 16. und 17. Jahrhundert sind vom sogenannten Überetscher Stil, einem hybriden Spätrenaissancestil, bestimmt. Schon die Landesbeschreibung von Marx Sittich von Wolkenstein aus der Teit um 1600 berichtet, Kaltern weise, im Gegensatz zur ländlichen Umgebung, „stattheuser“ auf. 1657 wurde Kaltern zur Marktgemeinde erhoben. Im Jahr 1900 hatte Kaltern 1586 (als Gemeinde 4539) Einwohner.