Als Württemberg 1743 die Herrschaft über den ganzen Ort kaufte, war für
das aus dem Mittelalter stammende Schloss – bis dahin Sitz der ritterschaftlichen Ortsherren – das Ende gekommen. Das von den Truchsessen von Urach wohl um 1300 errichtete, vermutlich einem Wohnturm ähnelnde Gebäude, musste 1753 einem Amtshaus für den württembergischen Förster weichen. Damit wurde der Herrschaftswechsel zu Württemberg auch sichtbar vollzogen. Dieses Amtshaus wurde 1841 von der Gemeinde und den beiden Kirchenpflegen erworben und danach zum Rathaus und zum Schulhaus für beide Konfessionen (mit zwei getrennten Schulsälen) umgebaut. Noch heute ist das Gebäude im gemeinschaftlichen Eigentum der Evangelischen Kirchengemeinde (1/3) und der Stadt und dient unter anderem als Sitz der Ortsverwaltung. Das Rathaus findet sich seit 1930 auch im Wappenbild der früheren Gemeinde Magolsheim. Das einst vorhandene Glockentürmchen ist abgebaut worden.
