Construit à partir du début du xie siècle par les premiers seigneurs de Lavardin, le château fut vendu au comte de Vendôme vers 1130, dont il devint la principale forteresse à partir de la fin du xiie siècle. Complètement remanié aux xiie et xve siècles, il fut enlevé aux Ligueurs en 1589, puis démantelé l’année suivante sur ordre d’Henri IV, duc de Vendôme et roi de France.
Le premier château, celui de Salomon de Lavardin, au début du xie siècle, paraît avoir été constitué d’un donjon de bois sur motte, protégeant un logis seigneurial établi au sommet du promontoire. La forteresse des comtes de Vendôme (xiie-xve siècles) se composait de trois ou quatre enceintes entourant un donjon quadrangulaire, le tout bâti sur trois paliers rocheux retaillés au Moyen Âge pour en accroître la verticalité. Au pied du château, entre le promontoire et le Loir, une dernière enceinte protégeait le prieuré Saint-Martin (Saint-Gildéric), fondé vers 1040 par le premier seigneur de Lavardin dans un « bayle » extérieur. Durant le haut Moyen Âge, le promontoire qui portera le château a été occupé par un cimetière, dont on a retrouvé plusieurs fosses taillées dans le rocher.
De la première enceinte subsiste une grande porte ou « châtelet » (xiie-xive-xve siècles), dont on remarque les mâchicoulis de tradition bretonne et les embrasures pour le canon (vers 1400). Cette porte donnait accès au premier palier du promontoire affecté aux activités de la garnison et des serviteurs. Face à cette porte se trouvait notamment l’entrée des galeries et d’un grand cellier souterrain ; au nord du palier une cuisine troglodytique avec un four à pain.
