Sein heutiges Aussehen dürfte der Sandhof im 17. Jahrhundert bekommen haben, als der Hof in den Besitz der Familie Hofer kam. Teile des Mauerwerks im Keller stammen aus dem 13. Jahrhundert.
Im Mittelalter war der Sandhof als „Auflegerhof“ bekannt, denn hier war Endstation für die aus Meran kommenden Fuhrwerke. Ab hier übernahmen Saumtiere und Träger die Waren und schleppten sie über den Jaufenpass nach Sterzing. Auch Andreas Hofer war noch im Saumgeschäft tätig. Zu seiner Zeit war der Sandhof das bekannteste Gasthaus im ganzen Tal und hieß „Wirtshaus zur Goldenen Krone“.
Der Name Sandhof rührt von den Überschwemmungen der nahen Passer her. Der Wildbach verwüstete oft den Talboden und hinterließ dann große Mengen an Sand und Schotter. So auch 1774, als der Kummersee unterhalb des Timmelsjochs ausbrach und sogar noch in Meran zahlreiche Häuser und fast alle Brücken zerstörte.
Als Andreas Hofer starb, war der Sandhof schwer verschuldet. Seine Witwe Anna konnte jedoch mit Hilfe einiger Gläubiger den Besitz retten. 1838, zwei Jahre nach ihrem Tod, kaufte Kaiser Ferdinand I. das Anwesen. Bereits um diese Zeit wurde der Sandhof für Reisende zu einer Sehenswürdigkeit. Die unzähligen Gästebücher, die es seitdem gibt, enthalten illustre Namen. Der ranghöchste Gast war Kaiser Franz Joseph I. Sein Besuch 1899 anlässlich der 90-Jahr-Feiern des Tiroler Aufstandes wurde zum bislang größten Volksfest in Passeier. Dabei wurde die Andreas Hofer-Gedächtniskapelle eingeweiht. Sie steht unmittelbar neben dem heutigen Freigelände und enthält einen Bilderzyklus aus dem Leben Hofers.
Eigentümerin des Sandhofs ist seit 1890 die Tiroler Matrikelstiftung, eine Vereinigung von Adelsfamilien aus Alt-Tirol (das österreichische Bundesland Tirol samt Osttirol sowie die heutigen Provinzen Bozen und Trient). Seit 1982 steht der Sandhof unter Denkmalschutz.