Un monastère a été construit sous l’égide des vicomtes d’Albi. En 1057, le monastère devient prieuré en étant remis aux bénédictins de l’abbaye Saint-Victor de Marseille. Après le rattachement de la vicomté d’Albigeois à la couronne de France, le monastère perd progressivement son importance. À partir de 1453 et son passage sous la domination du chapitre de Montpellier. Il est abandonné pendant les guerres de religion et le curé d’Ambialet est chargé de percevoir les maigres bénéfices pour le chapitre.
À la Révolution, les ruines échoient à la commune d’Ambialet. En 1865, l’ordre des Franciscains le remet en état. La chapelle actuelle et le réfectoire sont les derniers vestiges de ce monastère. La chapelle est rendue à son dépouillement d’origine par les Franciscains.
Ambialet est situé sur une barre rocheuse très dure qui a interrompu le cours de la rivière Tarn, l’obligeant à faire une courbe de trois kilomètres pour revenir à quelques mètres de son point de départ. La presqu’île ainsi formée est une crête rocheuse pentue. C’est au sommet de cette crête que le prieuré a été érigé.
