Pendant 3 siècles (1270-1578), les seigneurs de Lagardère ont été des personnages de l’Eglise : abbé, puis évêque de Condom, puis son chapitre. Comme dans d’autres châteaux dépendant de l’archevêque d’Auch (Lamaguère), on peut penser que le château était confié à un capitaine qui a pu s’intituler « seigneur de Lagardère », à la tête de sa garnison. Mais il y a eu également des « seigneurs de Lagardère » dans le petit village (aujourd’hui disparu, sans reste ni souvenir de château) de Lagardère-Saint Mont, fondu actuellement dans la commune de Labarthète (près de Riscle, à l’extrême ouest du département du Gers).
En 1578, le château de Lagardère passe à des nobles seigneurs laïcs, jusqu’à sa vente en 1791 à un riche habitant du village.
Géraud V, qui est à l’origine du château de Lagardère, est un homme du XIIIème siècle, l’époque de Saint Louis, des dernières croisades, après la fin de la guerre des Albigeois. Alors que le roi d’Angleterre tente de reprendre en mains son fief français de Gascogne (on va bientôt parler de Guyenne) et que la royauté française s’installe à Toulouse avec l’intention d’affirmer son contrôle sur la région.