L'histoire de Brantôme remonte très loin. À l'époque préhistorique, les hommes occupaient les surplombs rocheux creusés par la Dronne. Le dolmen de Peyrelevade (dit "Pierre Levée") se dresse encore de nos jours comme un témoignage des manifestations religieuses de cette époque. Dès le 8e siècle, les moines bénédictins profitent de l'abri naturel offert par la falaise pour s'y installer. Dès lors, l'abbaye ne cesse de grandir. La tradition nous dit qu'elle fut consacrée par Charlemagne qui y déposa les reliques d'un enfant martyr.
Détruit lors des invasions normandes de la fin du premier millénaire, l'abbaye se développe aux 10e et 11e siècles avec notamment la construction du clocher de style roman toujours dressé aujourd'hui au dessus de l'abbaye. Ce clocher n'est pas construit sur l'église elle-même mais sur les hauteurs rocheuses. Il est l'un des plus anciens campaniles de France. Les aléas de l'histoire et notamment l'occupation anglaise verront certaines parties de l'abbaye être détruite, cette dernière est donc reconstruite au 15e siècle dans un style gothique. Au 16e siècle, l'abbaye continue à se développer avec un palais et un jardin abbatial de style Renaissance.
L'abbaye abrite aujourd'hui un pôle culturel composé d'une bibliothèque et de salles d'exposition dont la très belle salle du "Dortoir des Moines" à la superbe charpente en carène de bateau. Il est possible de visiter l'abbaye ainsi que certains des vestiges troglodytiques hérité du tout premier monastère. Un circuit de 600 mètres environ conduit le visiteur à travers un cheminement historique dont le point d'orgue est sans doute la grotte du Jugement dernier.
