Le Château de Vaillac, situé sur une colline dessus le village, est un édifice de bel taille. Son logis au allure de donjon est flanqué de tourelles. Il est entouré par une enceinte assez vaste et relativement bien préservée. Au XIVe siècle il a été témoin et a souffert des guerres entre français et anglais.
Le Château de Vaillac est ouvert certains jours. (Voir les horaires). Il est également ouvert pour les journées de patrimoine.