Autour de 732, cinq cents membres de la communauté, y compris l'abbé, saint Porcaire, sont massacrés sur l'île au cours d'un raid de Sarrasins. Selon la tradition, l'un des rares survivants, saint Elenthère rebâtit un nouveau monastère sur les ruines de l'ancien. Il est probable que l'abbaye est provisoirement abandonnée jusqu'au départ des Sarrasins de Fraxinet, en 973. Cette menace sarrasine n'a pas disparu ensuite car la Vita d'Isarn, abbé de Saint-Victor de Marseille, cite une attaque de l'abbaye de Lérins, en 1046. L'abbaye est pillée et plusieurs moines sont amenés en captivité en Espagne.

L'abbé Aldebert Ier commence la reconstruction de l'abbatiale Saint-Honorat. Elle est consacrée en 1088 par son successeur, Aldebert II, abbé de 1088 à 1103. C'est ce dernier qui commence la construction de la tour de défense comme en témoigne une lettre datée de 1101 envoyée par Hildebert de Lavardin à l'abbé de Cluny. Il indique qu'il a quitté l'île avant une attaque de barbaresques qui tuèrent plusieurs moines, les autres s'étant réfugiés dans une tour.

On trouve dans la partie basse de la tour des blocs en grand appareil provenant d'une construction antique.