Au VIème siècle, le village, installé aux abords d'une fortification de la haute Antiquité, existait déjà. Grégoire de Tours rapporte que le lieu est pris par le franc Théodebert en 553. Une dame Deotaria lui remet la forteresse pour éviter le pillage. Elle lui donnera un fils, Théodebald, qui deviendra roi des Austrasiens.

Des lambeaux de sol, des vestiges d'habitat, un foyer et des céramiques appartiennent à cette première époque.
En 870, Cabrières est mentionné comme une viguerie : chef-lieu d'un vaste "canton" où l'on rend justice.

Au cours du XIème et du XIIème siècles, le château est occupé par une famille issue du puissant lignage franc des Guillelmides, descendant du Duc de Guilhem, parent de Charlemagne et fondateur du monastère de Gellone (Saint-Guilhem-le-Désert). Au pied des falaises, un nouveau village s'était développé.

Avec la croisade des Albigeois, la famille de Cabrières est dépossédée de ses biens. Le château reconstruit abrite une garnison royale en 1260. Lors de la Guerre de Cent Ans, le site, véritable place forte, objet de convoitise à proximité des foires de Pézenas et de Montagnac, est soumis aux assauts de nombreux brigands.

A partir de la seconde moitié du XIVème siècle, le village se vide peu à peu. A la fin du XVème siècle, le calme revenu, une nouvelle communauté s'installe et construit de nouvelles habitations. D'après les mobiliers découverts, l'analyse des graines, des os et des charbons de bois, l'élevage, la fabrication de produits qui en dérivent (laine, lait et fromage), le transport par mulets en sont les activités principales. Les troubles engendrés par les guerres de religion mettent un terme à l'histoire de l'ancien Cabrières. Le village abandonné et le château démantelé, les populations s'établissent désormais au bord de la Boyne, sur le site actuel du village.