Die Gründung des Klosters erfolgte um 400, nach Prinz erst um 500, außerhalb der römischen Stadt, auf einem römischen Friedhof. St. Andreas soll Sitz der ersten Kathedrale (obj-108) gewesen sein, das Bistum wurde wohl um 400 gegründet. Erster Bischof war Venuste, der 408 den Märtyrertod starb. 506 fand die Synode von Agde im alten Dom St. Andreas statt. Unmittelbar danach wird die Kirche zum Kloster geworden sein, womit sich das Gründungsdatum des Klosters um 500 erklären lässt. Ob es dabei Umbauten gegeben hat, ist unklar. Über die Gestalt der frühen Bauten und spätere Umbauten gibt es keine Erkenntnisse. Der bestehende Bau stammt aus dem 11./12. Jahrhundert.

La fondation du monastère remonte à environ 400, selon Prinz seulement vers 500, à l'extérieur de la ville romaine, sur un cimetière romain. Saint-André aurait été le siège de la première cathédrale (obj-108) ; le diocèse a probablement été fondé vers 400. Le premier évêque fut Venuste, qui mourut en martyr en 408. En 506, le synode d’Agde eut lieu dans l’ancienne cathédrale Saint-André. L’église a dû être transformée en monastère immédiatement après, ce qui explique la date de fondation du monastère vers l’an 500. On ignore toutefois si des travaux de transformation ont eu lieu à cette occasion. On ne dispose d'aucune information sur l'aspect des premiers édifices ni sur les transformations ultérieures. Le bâtiment actuel date des XIe et XIIe siècles.