Le château de Dourgne était situé sur le territoire du comté de Toulouse. Toutefois les vicomtes d'Albi, qui avaient aux XIe et XIIe siècles la suzeraineté de plusieurs autres localités comprises dans le Toulousain, dominaient sur celle-ci.