En 1209, Charency était une seigneurie en toute justice dans la mouvance de l’évêché d’Autun. La famille de Charency est attestée depuis 1372. La carte Cassini (v.1750) mentionne nettement un château.
De style néo-gothique, le château actuel a été construit entre 1839 et 1842. Sur le cadastre de 1842, il est composé d’un corps de logis rectangulaire nord-sud flanqué de deux tours carrées. Une tour octogonale percée de nombreuse fenêtres a été rajoutée intérieurement au milieu de la façade sud du logis. Tout près, se trouve une chapelle néo-gothique, érigée en 1842 sous le patronage de l’ange Gabriel. Dans le Livre d’or de la commune de Saint-Didier, d’importantes restaurations du château sont attribuées au comte de Dane qui fit construire de nombreuses fermes selon un modèle unique et bien pensé. Aujourd’hui, il ne reste plus que la tour octogonale,et une des tours carrées. Seule la chapelle apparaît en bon état.
