Jusqu’aux années 1880, le premier Magog House, ouvert en 1836, sert de relais pour les diligences qui empruntent la King Highway. Imaginez : vers 1840, on met en moyenne deux jours pour atteindre Montréal et six heures pour effectuer le voyage jusqu’à Stanstead!
C’est en 1902 que le Magog House fait peau neuve : le bâtiment est alors reconstruit en briques. L’hôtel cesse ses activités à la fin des années 1970, mais l’édifice accueille durant les décennies suivantes divers commerces, bars et logements aux étages supérieurs.
En 2017, le bâtiment des # 252-256 de la rue Dufferin abrite encore plusieurs commerces ainsi qu’un certain nombre de locataires aux étages supérieurs.
En décembre 2017, un incendie majeur force la démolition de ce bâtiment chargé d’histoires.