Das Schloss Kaltenstein früher eher eine Burg mit einer bis heute erhaltenen Ringmauer. Das Schloss wurde bereits 1096 als castrum vehingen urkundlich erwähnt. Zunächst war es im Besitz der Grafen von Vaihingen, 1339 erwarben es die Grafen von Württemberg. Im 16. Jahrhundert wurde es erneuert und 1734 wurde das Schloss umgebaut und seine Befestigung verstärkt. Das Gebäude steht leer und ist für die Öffentlichkeit nicht zugänglich