Situé dans le périmètre actuel de la Ferme de Buhy, le château qui l'a occupé jusqu'en 1842, grand d'une quarantaine de chambres, mérite d'être remémoré.
Le château a été construit pour la famille du Plessis Mornay. Le plus célèbre membre de cette famille fut Philippe, qui, sous le règne de Henri IV, était considéré comme le pape des Hugenots.

Ce château consistait en un vaste bâtiment, d'une architecture similaire aux constructions de la place Royale à Paris. La salle des gens d'armes, occupant tout le rez-de-chaussée, était dallée de liais noir et blanc avec un banc de pierre au pourtour. En face de la porte, une grande vasque recevait l'eau d'une fontaine. L'édifice était enfin entourée d'un parc magnifique d'une grande étendue, et était accompagné, sur la gauche de sa cour d'honneur, d'un temple.
Nous n’avons malheureusement pas d’archives graphiques de cet édifice en dehors d’un plan Napoléonien donnant son implantation au centre de Buhy.

La famille de Caylus est devenue propriétaire du château, par succession. Un inventaire mobilier daté de 1727 en atteste. En 1806, Monsieur de Lignerac, duc de Caylus, procède à la démolition du temple. Quelques décennies plus tard, en 1842, il ordonne la démolition du château et dépouille le parc de ses arbres pour le transformer en terre de culture. Les communs sont eux reconvertis en fermes, dont celle que nous connaissons de nos jours.

Plusieurs hypothèses expliquent la destruction du château. Devenu insalubre, il aurait servi à fournir des pierres pour la reconstruction de plusieurs édifices de la région, dont le château du Heloy. Une autre piste évoque la volonté des ultimes héritiers Caylus d'empêcher que le bien revienne à une autre famille.
L'explication la plus probable est cependant fiscale : En 1842, le Duc de Caylus se devait d'honorer l’impôt sur les portes et fenêtres. Le château en comportait alors 85, mais le Duc étant désargenté, il dut se résoudre à le démolir.