En 1011, une donation est faite à l'Abbaye Saint-Victor de Marseille de terres sur le territoire de Brignoles avec une église dédiée à Sainte-Perpétue. La plus grande partie du temporel de l'abbaye se situe dans la région de Brignoles. Les femmes de ce monastère appartiennent toutes à la haute noblesse de Provence, ou du Languedoc.

L'abbaye y installe quelques moines pour assurer les offices pour les populations locales . Au xie siècle le Pape Grégoire VII confirme par une Bulle, les biens de Saint-Victor, parmi lesquels figurent l'église de Sainte-Perpétue et les terres autour, avec l'église Sainte-Marie.

Ce monastère avait la particularité d'être double, les hommes avaient d'un côté leurs bâtiments et desservaient l'église Sainte-Perpétue, les moniales utilisaient l'église Sainte-Marie. Les deux établissements avaient à leur tête une prieure et un prieur désignés par les moines de Saint-Victor. Cet établissement, improprement appelé abbaye, avait en fait le rang de prieuré.

Au xiiie siècle, le prieuré avait une grande réputation, y recevant des filles de bonnes familles, et de haut lignage dont la plus célèbre est la comtesse de Provence Garsende de Sabran ; mère de Raimond Bérenger IV de Provence, qui une fois veuve de Alphonse, second fils de Alphonse II d'Aragon prit le voile en 1225, comme novice et demeura en ce lieu jusqu'à son trépas vers 1242. Le Prieuré comptait une centaine de religieuses entre 1267 et 1293. En 1311 on constate déjà des contestations qui vont jusqu'au procès, concernant l'usage des biens du Monastère par la communauté de Cabasse. Au xive siècle, les religieuses souhaitent se séparer de la tutelle des moines de Saint-Victor de Marseille avec lesquels elles sont en conflit permanent. Un Prieur restera pourtant sur le Domaine jusqu'à la Révolution, alors que les religieuses avaient déjà quitté le couvent depuis longtemps.