L'immeuble d'origine appartient à la famille Eudo comme l'atteste un acte de partage de janvier 1656. Il peut dater du XVIIe s. siècle comme en témoignent les corniches semblables à celle de l'hôtel de Kerret. Par mariage, en 1672, il passe dans la famille Le Boutouillic de Kergathouarne. Cette famille est originaire de Merlevenez (56). Georges de Kergathouarne occupe la fonction de directeur de l'hôpital général d'Hennebont. La date de 1747 sur le pavillon central marque sans doute des transformations. Au XIXe siècle, il appartient à Félix Dumoulin. Au siècle suivant, c'est Louis Lemaître, minotier au Palais à Landevant, qui en devient propriétaire. Il fera de nombreuses modifications notamment dans les ouvertures.