Selon Grégoire de Tours, un oratoire aurait été fondé vers 585 à l'endroit où Martin aurait accompli un miracle en 385, à l'extérieur de la ville (dans les champs). Il est devenu une église funéraire mérovingienne, mentionnée en 709. Des fouilles ont permis de mettre à jour des sarcophages correspondants. On ne sait pas quand elle est devenue un monastère, si c'est au 8e ou au 9e siècle. L'abbaye a été détruite par les Normands à la fin du 9e siècle. Les premières constructions mérovingiennes étaient probablement une église en forme de salle avec une abside. Une nouvelle construction a été réalisée en 1059-1067. Le chour date des années 1135-1155. Une restauration complète a eu lieu en 1845.