Le site a été inscrit le 25/04/1943 et le monument protégé à la demande d’André Malraux le 26 mars 1973
La construction principale remonterait au 15e siècle. Le corps de bâtiment a été repris dans le dernier quart du 17e siècle et la galerie, ajoutée, porte la date de 1689. Une dernière tour est refaite au 19e siècle
Le château de Berrac relevait en 1279 et 1289 des seigneurs de Fimarcon. Berrac est une seigneurerie du Comdomois depuis 1510