Das Schloss Villesavin wurde für Jean le Breton, den Finanzsekretär von François I., erbaut. Im Jahr 1525 geriet er während der Schlacht von Pavia in Gefangenschaft und wurde in derselben Festung wie Franz I. eingesperrt. Als die beiden Männer nach Frankreich zurückkehrten, ernannte Franz I. Jean le Breton zum Statthalter der Bauarbeiten in Chambord.
Er muss die Baustelle, die wegen der Italienischen Kriege 27 Monate lang unterbrochen war, wieder in Gang bringen, sie überwachen und die Arbeiter bezahlen. Franz I. bot ihm auch die Ländereien von Villesavin an, um dort das Schloss zu bauen. Jean le Breton zieht daraufhin einige französische und italienische Arbeiter und Handwerker aus Chambord heran, um es zu bauen (1527-1537). Das Schloss von Villesavin wird den Spitznamen „Die Bauhütte von Chambord“ erhalten.
Nach Jean le Breton erlebte das Schloss große Adelsfamilien, darunter Jean Phélippeaux, Berater von König Henri IV. Auch Grafen und Marquis bewohnten das Anwesen, wobei sie im Laufe des 19. Jahrhunderts einige Veränderungen vornahmen. Heute wird das Schloss von der dritten Generation der Familie de Sparre weitergeführt.