El castillo
La primera pintura conocida es del siglo XV, el castillo pertenece a la familia desde 1640, por el matrimonio de Edmée de la Platière con François D’Estutt, Señor de Tracy.

Desde entonces, Paray no dejo de ser pertencia de esta familia de la cual se distinguieron algunos de sus miembros, tal como Antoine (1754-1836) quién fue el representante de la nobleza a los Estados Generales y se unió después al Estado Llano.

Comandante de la caballería bajo las órdenes de La Fayette, fue prisionero en 1783. Alumno de Buffon y de Lavoisier, aprovecho esta incarcelación para establecer un sistema filosófico dicho de los “Ideologistas”. Senador hasta 1814, ha sido parte de la Academia Francesa.

Su hijo Víctor D’Estutt, Marqués de Tracy (1781-1864) fue militar hasta 1818, en 1848 paso a ser deputado de l’Allier y ministro de la Marina. Erá un agrónomo reconocido y se involucro mucho en el desarrollo de la Sologne. Amigo de Mathieu Dombasle, fue el primero en usar el famoso arado.

Las pinturas de Víctor de Tracy y de su mujer Sarah Newton están en la biblioteca del castillo.

En 1880, Jacques, Marqués de Tracy, construyó una ala suplementaria al castillo, lo que dobló su dimensión.

Destruido en su mayoría por un incendio en noviembre de 1968, el castillo fue reconstruido en sus proporciones de origen por su actual propietario, Claude, Marqués de Tracy.

La Capilla
Siguiendo un camino detrás del castillo, se llega a la capilla. Fue construida en 1719 por el matrimonio de Joseph D’Estutt de Tracy con Charlotte Bénédicte Victoire Marion de Druy. Esta capilla no se ha usado desde el final de siglo XIX.