À la suite d'une première tentative sans grands lendemains, en 1948, il faut attendre 1967 pour qu'une société d'histoire se forme sur des bases permanentes dans la région de Granby. La Société historique du comté de Shefford, de son premier nom, connaît cependant des débuts difficiles et ne prend son envol qu'au milieu des années 1970, une période qui coïncide avec la prise en chage de la Maison Vittie et l'embauche d'un premier directeur général.

      La Société historique oeuvre d'abord sur l'ensemble de l'immense territoire du comté de Shefford, demeuré inchangé dans ses limites depuis 1855. Mais avec la création de la MRC de la Haute-Yamaska, en 1982, et l'éclatement de l'ancien Conseil de comté de Shefford en quatre entités administratives distinctes, la Société d'histoire a cru nécessaire, elle aussi, de resserrer ses activités autour de Granby et de sa zone d'influence immédiate, c'est-à-dire les 10 municipalités qui composent le nouveau gouvernement régional. Finalement, en 1998, après bien des hésitations, la Société d'histoire de Shefford harmonisait sa raison sociale avec sa nouvelle réalité territoriale et administrative en prenant l'appellation de Société d'histoire de la Haute-Yamaska.