Van de vele kastelen die de zuidoostelijke Champagne in de Middeleeuwen bedekten, is het kasteel van Vignory een van de weinige die de eeuwen hebben overleefd tot op de dag van vandaag. Als vazallen van de graven van Bourgondië en vervolgens van de graven van Champagne, breidden de heren van Vignory hun baronie en vervolgens hun graafschap uit over de 26 omliggende gemeenten. Het eerste schriftelijke spoor van het kasteel dateert uit 1050-1052. Het was oorspronkelijk een "castrum" van de 1e Heer van Vignory.
Gui I (1011-1040) was de eerste bekende heer en stichter van de kerk van Saint-Étienne en haar priorij. Onder het bewind van zijn zoon Roger I verscheen de eerste schriftelijke vermelding van het kasteel: in een oorkonde van 25 mei 1050-1052 schonk Roger, om kwijtschelding van zijn zonden te krijgen, de nieuw gebouwde kerk en "wat mij toebehoort, namelijk de kapel van mijn kasteel" aan Saint-Bénigne in Dijon.
De ontwikkeling van het kasteel en de versterkingscampagnes volgden elkaar snel op. In het midden van de 12e eeuw werd op de bovenste binnenplaats de donjon gebouwd die bekend staat als de Tour Quarrée. In 1204 liet Gauthier I, banierridder onder Filips Auguste, de stad Vangnorry omheinen door muren en torens die aansloten op de vestingmuren van het kasteel.
Na twee belegeringen aan het einde van de 14e eeuw raakte het kasteel in verval.
In 1416 begon Jean de Vergy met grote restauratiewerkzaamheden, waaronder de bouw van de Tour au Puits (de toren van de put) op het puntje van de rotsachtige uitloper. Op de binnenplaats van de Haute-Cour werd een herenhuis gebouwd dat lichter en comfortabeler was dan de oude donjon. Rond 1490-1495 liet Jean de Baudricourt de enorme kanontoren bouwen op de hoek van de Lower Courtyard, waar de dorpswal samenkwam. Met zijn 20 meter diameter, 7 meter dikke muren en kanonpoorten was dit het verdedigingsslot van het kasteel.
Een toegangspoort, met een valhek en een ophaalbrug over een droge gracht, verdedigde de toegang tot de lagere binnenplaats, die een boerderij, huizen, een grote regenput en een duiventil met wel 1200 schietgaten bevatte.
Een inventaris uit 1773 toont een lager binnenhof omringd door wallen, geflankeerd door 7 enorme torens, waarin de boerderij, stallen, schuur, duiventil en tuinen waren ondergebracht, en een hoger binnenhof geflankeerd door 3 torens met daarin de donjon, de Puitentoren, een kapel, een herenhuis, een regenbak en bijgebouwen. Dit deel was exclusief voorbehouden voor de heer, zijn familie en zijn gevolg.
Vandaag de dag zijn er nog veel overblijfselen, waaronder de 12e-eeuwse donjon, de 15e-eeuwse Tour au Puits en de zuidelijke gordijnmuren, die op de monumentenlijst staan.
Sinds 2003 wordt er aan de vestingmuren gewerkt. Tussen 2009 en 2015 werden grote restauratie- en consolidatiewerken uitgevoerd, waardoor bezoekers de donjon en de Tour au Puits kunnen bezoeken.
Château de Vignory