L'évêché a été fondé en 275. Il n'existe guère de nouvelles et de traces fiables des bâtiments précédents. En 1855, des fouilles ont permis de découvrir les restes d'une crypte plus ancienne. Un espace à peu près carré est desservi par deux couloirs avec des arcades aveugles en plein cintre, qui rejoignent à leur tour les vestiges du mur d'enceinte gallo-romain. La conception semble carolingienne, elle a d'abord été attribuée par le fouilleur au 9ème siècle, puis au 11ème siècle. En raison de l'apparence carolingienne, une datation de l'époque carolingienne semble plus plausible, d'autant plus qu'il est difficile d'imaginer qu'il n'y ait pas eu de prédécesseur de cette époque. On ne dispose d'aucune information sur les nouvelles constructions romanes. Le bâtiment gothique actuel a été construit à partir de 1195.