L'existence de l'hôpital Frémeur remonte probablement au XIVe siècle (pas d'acte fondateur conservé) et fut réédifié en 1528. Etabli près d'une voie d'eau aux limites de la ville et constitué d'un corps de bâtiment long et haut, dans l'extrémité duquel est édifiée une chapelle ouverte sur les salles des malades par deux tribunes leur permettant d'assister aux offices, il répondait aux conceptions appliquées aux constructions hospitalières de son époque. Il fut modifié et agrandi au 18e et XIXe siècles. L'hôpital Saint-Michel a été construit à la fin du XIXe siècle (1896-1898) , grâce au don de M. de Kerjégu, député du Finistère.

Il constituait une réalisation architecturale exemplaire de l'application des critères définis par les médecins hygiénistes de cette époque. La révolution pasteurienne permit l'éclatement de l'hôpital en plusieurs petits hôpitaux où il était aisé d'assurer isolement et asepsie : son plan en H renversé présente quatre pavillons reliés à un corps central par des galeries de circulation couvertes ; les voûtes ogivales de ses salles et les angles arrondis des murs sont des applications des idées de Tollet afin de faciliter ventilation et aération. La chapelle fut restaurée vers 1874 par l'architecte Bigot dans le style néo-gothique.