Vers 1155, un acte signé à Loupiac paroisse proche de Sainte Croix du Mont" fait état d’un Pierre de Tastas.

1230 : 1ère mention de Tastes de Sainte Croix du Mont.
Richard Guillaume de Tastes tue son frère Amalvin. Rostanh de Soler, lieutenant du sénéchal d’Aquitaine Henri de Trubleville, mit les séquestres sur ses biens : maison de Tastes de Sainte Croix du Mont, district de Saint Macaire.

Après contestation et convocation à Langon d’une assemblée de chevaliers et de prud’hommes, Rostanh de Soler donna mainlevée du séquestre.

Les seigneurs de alors connus qu’a travers des actes de le vie courante. On ne peut affirmer avec certitude la présence d’un château à Sainte Croix du Mont avant le XIVème siècle. A cette époque, Girard est seigneur de Tastes, Philippe le Bel est roi de France (jusqu’en 1314), Édouard II, roi d’Angleterre.

Cette période marque également la chute de l’ordre des Pauvres Chevalier de Christ aussi appelés Templiers, le Pontificat de Bertrand de Goth sous le nom de Clément V et le début des rois maudits. En 1312, Édouard II perd l’Écosse et écrit aux seigneurs d’Aquitaine dont Girard de Tastes comptant sur leur fidélité.

Le seigneur de Tastes va donc soutenir son suzerain, le roi-duc. Le roi d’ Angleterre, éloigné de ses sujets va toujours s’assurer de leur contentement et de leur loyauté. Il va donc accorder des privilèges aux seigneurs d’Aquitaine.

Rencontre à Paris des députés des rois Français et Anglais afin de statuer sur le sort des révoltés. Ils leurs accordent leur pardon sauf à 11 d’entre eux, dont Girard de Tastes. Son implication dans la violation des trêves conclues alors qu’il tenait garnison à Saint Macaire a été reconnue.

Le château verra ensuite dans ses murs Jean de Raban, François de Léon avant d’accueillir la maison de Laroque suite à l’achat par André de Laroque au milieu du XVIème siècle. Son fils sera inhumé au château de Budos en 1594. Preuve en est les inscriptions figurant sur la pierre tombale.
"CY GIST NOBLE RAYMOND DE LA ROQUE, BARON DE BUDOS, SEIGNEUR DE TASTES ET DE LA TOUR, QUI DECEDA LE 21 AVRIL 1594, AGE DE 57 ANS"C’est probablement la maison de Laroque qui va transformer le château en château d’agrément en faisant d’important travaux. Les descendants de André de Laroque vont y demeurer jusqu’en 1723.

Le château sera ensuite vendu à maintes reprises, chaque propriétaire engageant, sans les terminer, des travaux d’aménagement ou de restauration. En 1927 c’est la mairie qui achète le château et qui va y construire l’école trois ans plus tard. Depuis les années 1970, l’école a été transférée et la mairie s’est installée dans ce superbe bâtiment des seigneurs de Tastes.

Les crus de Sainte Croix du Mont sont abondamment exportés en Angleterre. Très appréciés, ils ont bénéficié d’exemptions d’impôts. La paroisse devient prospère mais également l’enjeu important de conflits d’intérêts. Et si l’histoire n’a pas retenu de fait d’armes à Sainte Croix du Mont, elle a retenu ces conflits d’intérêt entre la maison de Tastes, le vicomté de Benauges, la Châtellenie de Saint Macaire et l’abbaye Sainte Croix de Bordeaux.(impôts, droits de basse et haute justice…). Le roi d’Angleterre doit intervenir à plusieurs reprises par le biais du sénéchal d’Aquitaine afin de régler ces conflits.
Au début du XVème siècle, la lignée des Tastes à Sainte Croix du Mont s’éteint. Le roi d’Angleterre donne le château à Jean d’Albret (1428), puis à Raymond de Lanau (1435) puis à Thomas Wysshard et Jean Ville (1444).
C’est ensuite Gaston Ier de Foix (fils d’Archambaud de Grailly et Isabelle de Foix, époux de Marguerite d’Albret) , comte de Longueville et de Benauges qui devient seigneur de Taste. Son fils Jean de Foix, qui épousera Margaret de la Pole de Kendal et fondera la maison de Foix-Candale, prendra la suite.

"cause des dit mouvements, et les ont maintenu, par quoi ils ont encore forfaiture de corps et d’avoirs" Cependant, ajoutent-ils, en considération du roi de France (Charles IV le Bel, fils de Philippe le Bel), de sa sœur, reine d’Angleterre (Isabelle de France) et du roi d’Angleterre (Edouard III), son neveu :
"nous accordons, relaissons et pardonnons, du tout, as dites personnes poines de mort, et de membres, pour choses faites puis les dit mouvements, juges a ore, en muant et chainant les dites poines corporales en poine de bannissement du royaume de France, mes qu’ils obéissent au ban"
Girard de Tastes est donc condamné à la destruction du château et au bannissement

Le roi d’Angleterre, non seulement ne fait pas appliquer la sentence mais accorde à Gérard, le droit de percevoir des amendes pour coups et blessures et le droit de haute justice. Il faut attendre 1331 pour que le roi de France, Phillipe VI de Valois, amnistie le seigneur de Tastes sur la demande de Edouard III.