Pendant 3 siècles (1270-1578), les seigneurs de Lagardère ont été des personnages de l’Eglise : abbé, puis évêque de Condom, puis son chapitre. Comme dans d’autres châteaux dépendant de l’archevêque d’Auch (Lamaguère), on peut penser que le château était confié à un capitaine qui a pu s’intituler « seigneur de Lagardère », à la tête de sa garnison. Mais il y a eu également des « seigneurs de Lagardère » dans le petit village (aujourd’hui disparu, sans reste ni souvenir de château) de Lagardère-Saint Mont, fondu actuellement dans la commune de Labarthète (près de Riscle, à l’extrême ouest du département du Gers).
En 1578, le château de Lagardère passe à des nobles seigneurs laïcs, jusqu’à sa vente en 1791 à un riche habitant du village.
