Het kasteel werd gebouwd op de plaats van een feodaal kasteel dat eind 12e en begin 13e eeuw werd gebouwd door de heren van Grancey-le-Château. Dit oude middeleeuwse fort was enkele jaren de thuisbasis van koning Lodewijk XIII en de familie Montespan voordat ze naar Versailles verhuisde. Het werd gewijzigd in de 17e eeuw met de bouw van een vleugel in het verlengde van de woning die de vierkante toren omhulde en met de ontwikkeling van terrastuinen rond het kasteel. De tuinen werden gewijzigd door Baron de Chalancey in 1820 om tuinen in Engelse stijl te creëren, met de toevoeging van een kunstmatige grot.
Binnen werden de appartementen in de tweede helft van de 18e eeuw gerenoveerd met rijkelijk versierde alkoofkamers en de vierkante toren heeft een spits gewelf uit de 16e eeuw. Tegelijkertijd liet Louis Seclier, ontvanger-generaal van financiën in Bourgondië, de woning verbouwen. Een van de poortgebouwen (rue de l'aiguillon) bestaat uit 2 torens die in 1994 werden gerestaureerd. Het draagt de datum 1618 en het wapen (blazoen van goud met een leeuw van azuur geblameerd en gekroond van gules) van Claudine d'Orge, weduwe van Léonard de Damas de Thianges.
Geregistreerd als Historisch Monument op 19 maart 1982.
In het park naast het kasteel vind je een koeler, een jachthuis en een obelisk.
Niet toegankelijk voor bezoekers: privéterrein alleen zichtbaar van buitenaf.
Château de Chalancey