Construit au XIIe siècle par une puissante famille de barons issus de l'aristocratie carolingienne, le château fort de Castelnau-Bretenoux commandait en Haut Quercy un riche territoire de vallées, aux confins des comtés de Toulouse et d'Auvergne, de la vicomté de Turenne et du duché d'Aquitaine. Il fut agrandi et fortifié entre le XIIIe et la fin du XVe siècle.