Die Abtei wurde auf einem frühchristlichen Friedhof um 690 gegründet. Der Heilige Rufus, Schüler des Paulus, soll das Christentum nach Avignon gebracht haben. Die genauen Gründungsumstände sind unbekannt, Bischof Agricolus soll die Gründung veranlasst haben. Von Vorgängerbauten ist nichts bekannt. Ein Neubau in karolingischer Zeit ist zu vermuten, Reliquien des Justus wurden in der Zeit hier verehrt. Die Dreiapsiden des romanischen Bauwerks könnten auf einen Vorgänger zurückgehen. Ein Neubau entstand 1039. Im 16. Jahrhundert gab es Zerstörungen, und 1763 wurde das Langhaus und das Kloster abgebrochen. Die bestehenden Reste vom Chor mit drei Apsiden stammen vom Bau von 1039.

L'abbaye a été fondée vers 690 sur un cimetière paléochrétien. On attribue à saint Rufus, disciple de saint Paul, l'introduction du christianisme à Avignon. Les circonstances exactes de sa fondation sont inconnues, mais l'évêque Agricolus en aurait été l'instigateur. On ne dispose d'aucune information concernant d'éventuels édifices antérieurs. On suppose qu'une nouvelle construction a vu le jour à l'époque carolingienne ; des reliques de Justus y étaient vénérées à cette époque. Les trois absides de l'édifice roman pourraient remonter à un édifice antérieur. Une nouvelle construction vit le jour en 1039. Au XVIe siècle, l'édifice subit des destructions, et en 1763, la nef et le cloître furent démolis. Les vestiges actuels du chour à trois absides datent de la construction de 1039.