Le passé historique de BARGEME est étroitement lié à la dynastie des PONTEVES.

Lorsque Douceline, fille unique de Foulques (1220), épousa Isnard II d’Agoult, elle lui apporta la Seigneurie de Bargème, qui passa ensuite entre les mains de leur fils aîné Foulques d’Agoult de Pontevès. Puis le fief appartint successivement à Barral 1er, à Foulques II, et enfin à Foulques III, dit le Grand Chambellan du Roi, Comte de Provence. La seigneurie de Bargème, parvint au XVIème siècle à Jean-Basptiste de Pontevès, Seigneur de Callas.

Au moment où les guerres de religion (XVIe siècle), ensanglantaient la Provence, J.B de Pontevès atteignait ses 90 ans. Il était marié à Françoise d’Agoult, et Dieu avait béni sa maison en lui accordant une nombreuse et florissante postérité. Cet homme chargé d’ans et comblé de richesse, semblait cependant n’avoir vécu que pour satisfaire les instincts les plus bas et les plus grossiers de l’âme. D’un orgueil insensé, avare et cupide, dur au pauvre, cruel au faible, il n’avait semé dans sa longue existence que l’injustice et le désespoir, et n’avait recueilli autour de sa vieillesse déshonorée que des colères immenses et des haines formidables.

Perché sur un éperon rocheux, BARGEME semble un asile sûr : deux de ses fils s’y réfugient, mais avec la complicité des villageois, des hommes de mains s’introduisirent dans le Château par surprise et ouvrirent les portes à leurs amis, qui s’emparèrent de Jean-Baptiste de Pontevès. Ils l’enfermèrent dans une tour, et lui volèrent 12 000 écus. Il fut retenu prisonnier 45 jours puis un matin, le 24 mai 1579, on le fit sortir et on l’abattit dans la rue.

En 1581, leur frère Balthazar reprend possession du Château. Mais, hautain et violent, il s’aliène les Bargémois qui au cours d’une altercation, l’égorgent dans la salle commune du village. Après les meurtres de son grand-père, de son père, de ses oncles, en 1595, Antoine de Pontevès revient au Château. A l’âge de 25 ans il est permis de croire à la ténacité de la haine. Or, celle que portent les habitants de Bargème aux Pontevès n’a cessé de couver sous la cendre.

Il en est victime à son tour et Antoine de Pontevès meurt poignardé au pied du maître-autel de l’église pendant la célébration de la messe dominicale.

Justice sera rendue après ce dernier crime, par le Parlement d’Aix. Un arrêt du Parlement condamne les habitants de Bargème à ériger sous le vocable de Notre Dame d’Espaïme (peur et douleur) une chapelle. Celle-ci fut construite au bout de l’esplanade du Château, porte Ouest et terminée en 1608.

La terre passa alors à Foulques, qui prit successivement les titres de Vicomte et de Marquis de Bargème. S’alliant aux Castellane, aux Raimondi, il continua la descendance. En 1818, Victorine de Pontevès-Bargème épousa Elzéar Louis Zozime, Comte, puis Duc de Sabran. Les Sabran descendaient de Raymond qui en 1160 s’était uni à Gersende de Forcalquier. Plus tard, leur descendante directe, également prénommée Gersende, devint la femme d’Alphonse II, Comte de Provence et donna à ce pays son plus grand Prince, Raymond Béranger V. Devenue veuve, elle se retira au Monastère de La Celle, près de Brignoles. Leur union étant restée stérile, Victorine de Pontevès et Elzéar de Sabran décidèrent d’adopter leurs cousins, Marc Edouard et Léonie de Pontevès. Seule, celle-ci eut des enfants. La terre et les titres revinrent alors à son fils, Foulques. Les héritiers en furent le Duc Sabran De Pontevès et Madame la Duchesse Roselyne Manca De Vallombrosa Sabran De Pontevès. A leur décès, les héritiers leur fille Gersende, Duchesse d’Orléans, leurs fils Elzéar, Jean et Géraud conservèrent ce château jusqu’en 2008, où ils décidèrent de faire cesser l’indivision. Le château mis en vente fut racheté à la barre du Tribunal de grande Instance de Paris par la Commune de Bargème.

Depuis le 17 Janvier 2008, ce château est patrimoine communal, grâce au concours du Conseil Général du Var, présidé par Mr Horace Lanfranchi, et de la Commune sous la municipalité Pierre Jassaud. L’acquisition du Château, est un acte civique, donnant toute sa valeur, historique et culturelle au site classé de BARGEME.