Dominé par son rocher-donjon naturel unique en France, le château de Peyrelade était au Moyen Âge l’une des plus importantes forteresse du Rouergue. Par sa situation stratégique, le château contrôlait la Vallée et les Gorges du Tarn et son influence s’étendait jusqu’aux limites du Sévéragais, du Languedoc et du Gévaudan. Il fut le théâtre d’incessantes batailles. Le château fut construit en majeur partie au XIIe siècle et appartenait aux Ahenric.
Après de nombreuses discordes, procès et guerres, plusieurs seigneurs se succèderont et après les de Severac, les d’Anduze, les vicomtes de Creissels, les de Roquefeuil, quatre seigneurs se le partagèrent. Le château de Peyrelade n’échappa pas aux faits marquants de l’histoire de France : la guerre de Cent Ans, tout d’abord, au cours de laquelle les Anglais occupèrent le site de 1360 à 1367, suivie d’une période trouble à la fin du XIVe siècle durant laquelle le château fut brûlé après deux mois de siège. Durant cette époque, le château fut également victime des attaques des routiers qui l’assiégèrent et le pillèrent à plusieurs reprises.
Vinrent ensuite les guerres de religion qui déchirèrent le Rouergue. En 1568, Peyrelade était aux mains des catholiques alors que la ville de Millau, toute proche, était occupée par les Calvinistes. En 1580, ces derniers vinrent prendre Peyrelade et firent voler en éclats la porte de la tour grâce à l’utilisation d’un engin explosif. Quelques mois plus tard, le château fut repris par les catholiques. L’histoire du château semble se terminer vers 1633, date à laquelle Richelieu aurait ordonné son démantèlement.
Le château fut alors laissé à l’abandon et tomba petit à petit dans l’oubli. Envahi par la végétation, il servira longtemps de carrière pour les maisons des villages alentours. Les ruines donnent une bonne idée de l’organisation du château. Trois enceintes de murs épais entouraient le donjon. L’enceinte extérieure fait plus de 250 m de longueur et 10 m de hauteur. Ce grand mur entourait le village et la place d’armes où avaient lieu les réjouissances, et parfois aussi les exécutions ou les supplices. On accédait à cette première enceinte par deux portes. La deuxième enceinte protégeait un corps de logis où les seigneurs résidaient. Les murs de la troisième enceinte formaient le dernier rempart autour du donjon.
Le grand rocher en forme d’enclume haut de 50 m et large de 10 m environ servit de donjon naturel. Son sommet est à 600 m d’altitude et se trouve à 200 m au-dessus du Tarn. La tour ronde accolée au rocher et sa porte placée à mi-hauteur, accessible par un pont-levis permettait d’atteindre la partie supérieure couronnée par des logis et une terrasse. Au fond de la tour il y avait un cachot où l’on enfermait les criminels. En temps normal on n’habitait pas le donjon qui n’était en fait qu’une tour de guet et l’ultime refuge en cas de guerre. L’équipement du donjon permettait aux assiégés de tenir plusieurs semaines. Une citerne récupérait les eaux pluviales des toits. Une salle était pourvue d’un four à pain. Une galerie de bois constituait un chemin de ronde autour de la tour (les hourds on été récemment reconstitués). L’accès au donjon était protégé par des assommoirs par lesquels on lançait des projectiles divers sur les assaillants parvenus dans la tour après avoir enfoncé la porte. Aujourd’hui en cours de restauration, le château de Peyrelade reste une construction tout à fait atypique par la mise en valeur des accidents de terrain qui ont permis son érection et par la disposition exceptionnelle de son donjon.