L'origine des Guillem seigneurs de Clermont au diocèse de Lodève est obscure. Suivant l'auteur anonyme de l'Histoire Chronologique des seigneurs de Clermont-Lodève, les Guillem descendent de Guillaume duc de Toulouse, - saint Guillem de Gellone - parent de Charlemagne, et ont une origine commune avec les comtes de Toulouse, les comtes de Pamiers et de Comminges et les seigneurs de Montpellier.

Cette opinion, admise par divers historiens, ne repose que sur une similitude de nom et l'Histoire ne la confirme pas. La famille du duc Guillaume s'éteignit dans la seconde moitié du Ixe siècle ; il faut donc renoncer à donner aux Guillem une aussi illustre origine. L'ignorance sur les commencements de cette famille est absolue ; son nom indique une origine Franque. Venue peut-être en Septimanie au VIIIe siècle à la suite de Pepin ou de Charlemagne, elle dut recevoir des souverains Francs des bénéfices qui devinrent, par la suite, un fief héréditaire

Vers la fin du XI^e siècle et au commencement du XII^e on trouve le nom de Guillem dans divers documents, mais sans pouvoir affirmer que ceux qui le portent sont seigneurs de Clermont ou font partie de leur famille

En 1130, on voit, pour la première fois, un Guillem de Clermont ; il figure comme témoin dans l'accord survenu entre Bernard IV comte de Melgueil et Guillaume VI, seigneur de Montpellier, par lequel Bernard donne à Guillaume trois deniers par chaque vingt sous de la monnaie frappée à Melgueil