Eine Bistumsgründung fand zunächst in Alba-la-Romaine (Alba Helviorum) (obj-297) statt, erst im 5. Jahrhundert (474/487) wurde es an diese Stelle auf der felsigen Höhe von Viviers verlegt. Es wird bald mit einem Bau begonnen worden sein, von der nichts bekannt ist. Eine Erneuerung erfolgte unter Bischof Venantius 517/544. Nördlich der Kirche sind 1978 und 1983 bei Ausgrabungen Mauerzüge einer Saalkirche mit polygonaler Apsis aufgedeckt worden, die wohl zu einer Nebenkirche gehörten, auch ein Baptisterium ist zu vermuten, womit eine Kirchengruppe bestand. Über die Gestalt der Hauptkirche aus dem 6. Jahrhundert gibt es keine Informationen. 736 wurde sie von Sarazenen zerstört, aber im 8. Jahrhundert erneuert. Auch das Aussehen der karolingischen Kirche ist unbekannt. Der aktuelle Bau entstand zwischen 1096/1119 (Weihe durch Papst Calixtus II.). Ob der mächtige turmartige, freistehende Westbau einen Vorgänger besessen hat, bleibt unklar.

Une fondation d'évêché a d'abord eu lieu à Alba-la-Romaine (Alba Helviorum) (obj-297), ce n'est qu'au 5e siècle (474/487) qu'il a été transféré à cet endroit sur la hauteur rocheuse de Viviers. Des travaux de construction, dont on ne sait rien, ont rapidement été entrepris. Une rénovation a eu lieu sous l'évêque Venantius en 517/544. Au nord de l'église, des fouilles menées en 1978 et 1983 ont mis au jour des pans de murs d'une église à salle avec abside polygonale, qui appartenaient probablement à une église secondaire, on peut également supposer un baptistère, ce qui permettait d'avoir un groupe d'églises. Nous ne disposons d'aucune information sur la forme de l'église principale du 6ème siècle. Elle a été détruite par les Sarrasins en 736, mais a été reconstruite au 8e siècle. L'aspect de l'église carolingienne est également inconnu. La construction actuelle a été réalisée entre 1096/1119 (consécration par le pape Calixte II). On ne sait pas si l'imposant bâtiment ouest en forme de tour et isolé a eu un prédécesseur.