Les Ursulines arrivèrent à Quimperlé dès 1652, mais d'abord en basse-ville dans le quartier du Gorrequer, à la suite de lettres patentes de Louis XIV et l'approbation de l'évêque de Cornouaille, de l'abbé de Sainte-Croix et de la communauté de la ville1. Après un incendie, près d'une dizaine d'années plus tard, les religieuses montèrent vers la haute-ville et s'installèrent sur le terrain, de l'ancienne métairie du Bel-Air, appartenant à Claude de Kerouartz, qui en avait fait l'acquisition en 1665.

Dès 1667, la construction de la chapelle commença, avec l'apport financier des familles Penfeunteunyo, et Lohéac (des familles influentes localement à l'époque), et se termina en 1674 quand les bâtiments de base du couvent furent terminés. Les sœurs purent enfin commencer à enseigner les jeunes filles. Ces travaux furent estimés à plus de 60.500 livres. En 1683, les parties supérieures du couvent furent détruites dans un incendie, mais elle fut reconstruite à l'identique entre 1684 et 1689.