Saint Germain d'Auxerre, fondateur et évêque d'Auxerre, fut inhumé le 1er octobre 448 dans l'oratoire modeste qu'il avait fondé en l'honneur de saint Maurice. Avant la fin de ce même siècle, l'oratoire commence à être appelé du nom d'église Saint-Germain.

Le véritable essor de l'abbaye date du vie siècle, lorsqu'elle est reconstruite par la reine Clotilde, deuxième femme de Clovis et princesse de Bourgogne, voulant honorer saint Germain, puis au ixe siècle sous le règne de Charles le Chauve. Les moines bénédictins sont attestés dès 725. Une nouvelle église de 100 mètres de longueur est donc construite en 841-865, en ex-voto de la guérison du comte Conradn de la famille des Guelfes et oncle de Charles le Chauve. La translation de la dépouille de saint Germain a lieu en 859 dans la crypte, l'évêque Héribald, bâtisseur de la crypte, y ayant été inhumé en 857. Dès lors, les évêques d'Auxerre y sont enterrés. La crypte est le témoin de cette époque.

Héribert, évêque d'Auxerre de 971 à 996, est le demi-frère du roi Hugues Capet et du duc de Bourgogne Henri. De plus Henri aime voir l'ordre régner dans les établissements religieux. Enfin, saint Mayeul est abbé de Cluny et ami personnel de leur père commun Hugues Capet. Henri demande donc à saint Mayeul de faire restaurer la discipline et le respect de la règle à l'abbaye Saint-Germain.