Der Legende nach erlitt um 250 der aus Rom entsandte erste Bischof von Paris Dionysius den Märtyrertod auf dem Mons Martyrium (Montmartre). 475 erbaute Genoveva über seinem Grab auf einem spätrömischen Gräberfeld eine Kirche, wohl ein Saalbau. Dort bildete sich spätestens 574 ein Konvent, aus dem Dagobert 636 ein Kloster machte und dieses ausstattete. Dazu wurde die Hauptkirche nach Westen erweitert und erhielt wohl schmale Seitenschiffe. Unsicher ist, ob die Apsis dieses Baues schon am Saalbau von 475 vorhanden war oder es zunächst einen Rechteckchor gab. 751 ließ Pippin im Zuge seiner Erlangung der Königswürde für die Karolinger unter Abt Fulrad einen Neubau errichten. Die endgültige Weihe erfolgte nach seinem Tode 775 in Anwesenheit von Karl. Zur Krönung könnte in einer ersten Phase ein Westbau in der Art eines Triumphtores entstanden sein, durch das Pippin zu seiner Krönung schritt. Eine archäologisch nachgewiesene Erweiterung dieses Westbaues dürfte nach dem Tode Pippins (+768) hinzugekommen sein als symbolhafte Überbauung der Grablege. Eines der nachgewiesenen Gräber in der Mittelachse dürfte Pippins Grab gewesen sein, das wie von ihm gewünscht "ante limina" (vor der Schwelle) bzw. "ante ecclesia" angelegt wurde. Über dem Grab Pippins entstand somit erstmals ein Westbau, wo für den Verstorbenen Dauergesänge (laus perennis) abgehalten wurden. Dieser Westbau war der erste in der frühmittelalterlichen Architektur der Franken und Impulsgeber für zahlreiche Nachfolgebauten. Der Hauptbau war eine dreischiffige Säulenbasilika mit Ostquerhaus und Apsis sowie einer Ringkrypta. 832 kam eine dreischiffige Kapelle an die Stelle der Apsis. Die tiefe Gläubigkeit der Karolinger, von Pippin III. begründet, verbot es profanen Herrschern in den Kirchen bestattet zu werden. Dies war Heiligen oder Äbten bzw. Äbtissinnen vorbehalten. Zum Kloster gehörten ab 636 bis zum Ende der karolingischen Zeit noch mindestens drei weitere Kirchen: Saint-Geneviève, Saint-Barthélemy und Saint-Pierre.

Selon la légende, vers l'an 250, Denys, premier évêque de Paris envoyé par Rome, subit le martyre sur le Mons Martyrium (Montmartre). En 475, Geneviève fit construire une église, probablement une église-halle, au-dessus de sa tombe, sur un cimetière de l'époque romaine tardive. C'est là qu'un couvent vit le jour au plus tard en 574 ; Dagobert en fit un monastère en 636 et le dota de biens. À cette fin, l'église principale fut agrandie vers l'ouest et dotée, semble-t-il, de bas-côtés étroits. On ne sait pas avec certitude si l'abside de cet édifice existait déjà dans l'église-halle de 475 ou s'il y avait d'abord un chour rectangulaire. En 751, dans le cadre de son accession à la dignité royale pour les Carolingiens, Pépin fit ériger un nouvel édifice sous la direction de l'abbé Fulrad. La consécration définitive eut lieu après sa mort, en 775, en présence de Charles. À l'occasion du couronnement, le bâtiment occidental, conçu à la manière d'une porte triomphale par laquelle Pépin aurait défilé lors de son couronnement, aurait pu être érigé dans un premier temps. Un agrandissement de cette construction ouest, attesté par des fouilles archéologiques, a probablement été ajouté après la mort de Pépin (+768) pour servir de superstructure symbolique au lieu de sépulture. L'une des tombes attestées dans l'axe central était sans doute celle de Pépin, qui fut aménagée, conformément à son souhait, « ante limina » (devant le seuil) ou « ante ecclesia ». C'est ainsi qu'un édifice occidental fut érigé pour la première fois au-dessus de la tombe de Pépin, où l'on chantait en permanence (laus perennis) en l'honneur du défunt. Cet bâtiment occidental fut le premier de ce type dans l'architecture franque du haut Moyen Âge et servit de modèle à de nombreux édifices ultérieurs. Le corps principal était une basilique à trois nefs avec un transept oriental, une abside et une crypte circulaire. En 832, une chapelle à trois nefs remplaça l'abside. La profonde piété des Carolingiens, instaurée par Pépin III, interdisait aux souverains laïques d'être inhumés dans les églises. Ce privilège était réservé aux saints, aux abbés ou aux abbesses. De 636 jusqu'à la fin de l'époque carolingienne, le monastère comptait encore au moins trois autres églises : Sainte-Geneviève, Saint-Barthélemy et Saint-Pierre.