Nach wechselnden Eigentümern kauft 1538 Graf Wilhelm IV. von Eberstein das Schloss samt der Flecken Poltringen und Oberndorf für 6.797 Gulden. Ein Drittel davon ist württembergisches, ein weiteres Drittel österreichisch-hohenbergisches Lehen. Noch während teils heftiger Auseinandersetzungen unter seinen Nachkommen wird Heinrich Schickhardt 1613 von Franz Baron von Wolkenstein mit dem Umbau der Wasserburg beauftragt. Schickhardt schreibt in seinem Inventar: „dem Herren von Wolkenstein in seinem Schloss gebaut, aber kein Hauptbau gethon“.  Ausgeführt wird der Umbau von Schickhardts Baumeister Winland. Das Wappen der Wolkensteiner und Ebersteiner befindet sich bis heute über dem Türsturz des Hauptportals.

Nach Pest und Dreißigjährigem Krieg sterben die Familien der Ebersteiner und Wolkensteiner aus. Trotz eines Brandes 1706 bleibt das Wasserschloss weitgehend in der von Schickhardt erbauten Form erhalten. Eine wechselvolle Geschichte mit den unterschiedlichsten Eigentümern und Nutzungen führt schließlich zur Gemeinde Poltringen, die das Gebäude von einem Bierbrauer kauft. Sie richtet einen Teil als Volksschule ein. Nach Kriegsende 1945 erhalten Flüchtlingsfamilien Unterkunft im Schloss.

1958 stellt ein Gutachten des Kreisbauamtes Tübingen so gravierende Mängel fest, dass eine Erneuerung für rund 400.000 DM zwecklos scheint. Das staatliche Amt für Denkmalpflege schlägt dem Denkmalamt beim Regierungspräsidium vor „… das Schloss in dem Verzeichnis der Baudenkmale zu löschen“.

Durch eine Gasexplosion am 12. Oktober 1960 wird der südwestliche Eckturm stark beschädigt, während in anderen Räumen der Schulunterricht läuft. Der obere Teil des Turms stürzt in den trockenliegenden Wassergraben, zu dieser Zeit Pausenhof der Schule. Die Schule wird evakuiert und bezieht am 14. November das neuerbaute Schulhaus.

Die Gemeinde verkauft 1966 das marode Schloss an den Eisen- und Baumaterialienhändler Alfons Boethin, der schließlich zusammen mit dem Architekten Henning Hakenbeck 15 Eigentumswohnungen plant und diese nach der Generalsanierung des Schlosses 1971 an private Interessenten verkauft.

Seither engagieren sich die EigentümerInnen mit Erfolg für den Erhalt des nach wie vor unter Denkmalschutz stehenden Wasserschlosses.

Das Schloss mit seinen Nebengebäuden, dem ehemaligen Amtshaus im Renaissancestil, der gewaltigen Schlossscheuer und der Schlossmühle mit dem Staffelgiebel wird als eines der wertvollsten Kunstdenkmale des Ammertals bezeichnet.

Zitiert nach der Jubiläumsbroschüre „400 Jahre Schlossumbau durch Heinrich Schickhardt“, herausgegeben von den Bewohnern des Wasserschlosses, VisdP: Barbara Lambeck, Barbara Hennig-Christ und Dieter Christ