La seigneurie du Vergier est mentionnée dès 1281. Le manoir est édifié au début du 15e siècle peut-être pour Pierre du Vergier qui le possède en 1396. Le manoir primitif possédait une salle basse sous charpente qui fut remplacée dans la première moitié du 19e siècle par un bâtiment à étage de comble avec conservation de la cheminée d'origine. La partie médiane comportait cuisine et chambre peut-être sous charpente : dans la seconde moitié du 15e siècle, elle est plafonnée et rehaussée de même que la tour d'escalier. Un nouveau corps de logis est construit en alignement vers l'ouest après 1818. Un colombier, aujourd'hui détruit, figure sur le cadastre de 1818. Le moulin à déversoir est situé à quelques mètres au sud du manoir, sur le Scaff. Il est construit en 1656, date portée à deux reprises. Il est remonté d'un étage en 1770 (date portée) et augmenté vers l'est en 1846 (?), date partiellement lisible. La charpente du moulin remploie des pièces moulurées du 15e siècle provenant peut-être de l'ancienne salle .