Selon la légende, c'est Concar qui aurait délivré le site occupé par l'actuelle Ville close des Pictes pour y fonder la cité de Concarneau. À l'époque du Haut Moyen Âge, l'îlot rocheux de Conq, actuelle Ville close, dépendait alors de la paroisse de Beuzec. Vers le xe siècle, un prieuré est établi par les moines de l’abbaye de Landévennec sur la base de quelques maisons déjà présentes sur la partie haute de l’îlot. Les traces d'une tour du XIIIe siècle et un mur du XIVe siècle retrouvés près de la Tour du Fer à Cheval confirment l'existence d'une enceinte médiévale. C’est probablement le duc Jean II de Bretagne qui fait construire cette première enceinte en pierre entourant l'îlot vers 1285. À cette époque, une communauté constituée de bourgeois, de négociants et de pêcheurs vit dans la cité.

La Ville maintenant close devient une place forte de Bretagne et l'enjeu de rivalités entre Anglais et Français, notamment lors la Guerre de Succession de Bretagne pendant laquelle les Anglais, venus au secours de Jean de Montfort, prennent la ville en 1342. En 1373, après trente années d'occupation anglaise, Olivier Du Guesclin, reprend la ville pour le compte du roi de France Charles V et chasse les anglais. Au milieu du xve siècle, le duc de Bretagne Pierre II fait reconstruire la muraille. En 1488, après la Bataille de Saint-Aubin-du-Cormier, la Ville close passe aux mains du roi de France Charles VIII, avant d'être reprise par les Bretons. En 1489, Jean II de Rohan assiège et reprend l'enceinte au nom du roi. Anne de Bretagne, pour contrer l'emprise des Français sur le duché, fait alors appel aux Anglais qui occupent la ville jusqu'en 1495.