Fu nel 1781 che Vittorio Amedeo III conferì al Vagina il titolo di Barone D'Emarese, piccolo centro della Valle D'Aosta nei pressi di Saint Vincent.
Il palazzo dei baroni D'Emarese conserva tracce di costruzione cinquecentesca anche se il suo complesso è chiaramente settecentesco; formato da più fabbricati adibiti a funzioni diverse, nella parte sud ospitò, nell'ottocento, la lavorazione della seta. Successivamente la filatura fu spostata in un palazzo attiguo e funzionò fino al 1910 circa. In un'altra ala del palazzo vi era la distilleria dove ebbe inizio la produzione dell'AMARO BAIRO, voluta dal barone Eugenio D'Emarese.
Tutta la struttura fu poi trasferita alla periferia del paese dove il prodotto venne fabbricato per oltre un secolo e la cui produzione cessò nel 1969.
Da quella data la formula e il marchio furono acquistati dalla BUTON. Nel 1908 il palazzo D'Emarese fu acquistato dai Fratelli Maristi, una congregazione religiosa francese, che vi stabilò il suo noviziato.
Risale a questo periodo la costruzione della galleria che collega la parte Nord del palazzo con la parte Sud. Gli archi sono di forma canavesana, come quelli del palazzo comunale.
Nel 1970 i fratelli Maristi lasciarono il paese e dal 1977 il palazzo D'Emarese divenne la casa di riposo per anziani "Residence del Frate".