Le logis abbatial de l'ancienne abbaye cistercienne Notre-Dame-de-Joye date en majeur partie de la fin du XVIIe siècle. A plusieurs endroits, on peut y lire la date de 1693. Sans doute comporte-t-il des éléments plus anciens. Après la Révolution française et et la destructions de l'église abbatiale, le bâtiment et une partie du cloître sont acquis par un dénommé Noël Hebert. La "Compagnie des Forges de la Joye" est créée le 12 septembre 1825. Elle n'a rien à voir avec les Forges d'Hennebont fondées par les frères Trottier 35 plus tard en Kerglaw (Inzinzac-Lochrist). Elle transforme de la fonte en barre pour l'artillerie du port de Lorient. La "rue du Champ-de-tir" qui longe le site en a gardé le souvenir. Cette usine accueillera de nombre ouvriers anglais plus rompu à la technologie utilisée. Elle ferme cependant ces portes en 1833. Les bâtiments sont peu à peu démantelés détruisant les vestiges du cloître et des bâtiments conventuels sur lesquels ils étaient implantés. Le logis abbatial racheté par Jean Laurent, ancien ingénieur des Ponts-et-Chaussés, en janvier 1940, qui en fait sa demeure ayant augmenté le bâtiment d'une chapelle dans l'aile Sud. En juillet 1845, il vend l'ensemble au négociant hennebontais Joseph Quéro et à son épouse Clarisse Boulanger. 5 ans plus tard, ces derniers cèdent 5 hectares sur le haut de la propriété à la Congrégation des Frères-du-Saint-Esprit. La Congrégation est en effet en pourparlers avec l'administration des Haras pour échanger des terrains avec Langonnet. En 1921, les Haras nationaux rachète la partie basse où se trouvent les bâtiments de l'abbaye. Elle installe les familles de palefreniers dans les étages du logis découpés en appartements. Le rez-de-chaussée accueille quant à lui les boxes pour les étalons. Les aménagements seront réalisés par les architectes morbihannais, Edouard Ramonatxo, Louis-Marie Dutartre et Charles Caro. Les palefreniers y résideront jusque dans les années 90.

Depuis 2017, le logis abbatial est propriété de la Ville d'Hennebont. Elle fait entreprendre en décembre 2017 une étude historique suivie en janvier 2020 d'un diagnostic archéologique et une étude dendrochronologique.