Outre la cathédrale de Gratianopolis (obj-88), fondée en 381 et située juste à la lisière de la ville romaine, près des remparts, un cloître épiscopal a également été construit à côté d'un baptistère (obj-770). Deux églises-halles dotées d'une abside et un baptistère situé devant ont été mis au jour. Nous ne disposons d'aucune information concernant les modifications apportées à une époque ultérieure. On peut toutefois supposer des transformations à l'époque carolingienne. Ce n'est qu'à la fin du Xe siècle que le cloître de la cathédrale fut transformé en église Saint-Hugues. Le mur extérieur nord conserve encore les vestiges du mur d'enceinte romain, qui constituait également le mur nord de l'église du cloître de la cathédrale du IVe siècle.