Tout d’abord, il en impose par sa taille. Comme il a été construit sur une colline, il est nécessaire de prendre de la hauteur en marchant le long des remparts. Une fois arrivé à son pied, le château mesure pas moins de 30 mètres de haut. Tout en haut, entouré par des montagnes, la ville semble tenir dans le creux de la main. Tout autour, le domaine mesure 1,6 km d’est en ouest et 1,2 km du nord au sud. Bordé par de nombreux espaces verts et de cerisiers, c’est l’emplacement idéal pour célébrer hanami (la contemplation des cerisiers en fleur), ce qui en fait notamment l’un des palais les plus appréciés du Japon.
Historiquement, le château fut construit entre la fin de l’ère Azuchi-Momoyama (1558-1600) et le début de l’ère Edo (1603-1868). Pourtant, les fortifications furent développées dans la seconde moitié du XVe siècle. La construction de la tour principale est achevée en 1600, puis est offerte au seigneur Katô Kiyomasa après la bataille de Sekigahara. Il décide d’agrandir les lieux, avec une tour plus petite et un puits jusqu’en 1607, et enfin le palais Honmaru Goten, en 1610. Une très longue période de calme s’installe sur le domaine, si bien qu’à partir de 1632, Tadahiro Kiyomasa, le fils de Katô, fait construire des résidences secondaires alors habitées par de nombreux seigneurs de passage dans la région.
Il faut attendre la restauration de Meiji pour qu’une période de troubles jaillisse soudainement. En effet, dès 1870, trois des partis politiques du domaine furent démantelés pour un nouveau, jugé plus progressiste et basé sur l’inutilité des guerres civiles et de l’extravagance. Ce nouveau gouvernement n’était pas en accord avec les souhaits du seigneur Hosokawa. Ainsi après plusieurs années de troubles politiques, le château est assiégé pendant la rébellion de Satsuma. De nombreuses parties, dont le donjon, furent alors brûlées.
Pourtant ce n’est qu’à partir de 1960 que les reconstructions ne prennent place, à commencer par le donjon. Puis ce sera au tour du château en lui-même entre 1998 et 2008.
