Cette prison, réalisée avec l'aide financière de Louis XVI, est construite entre 1786 et 1788 selon les plans de Jean Detaille de Keroyant. Elle ouvre donc à la veille de la Révolution et ferme en 1897.

Ceinturée de hauts murs et disposant de vastes cellules, elle pouvait accueillir 90 détenus. Au rez-de-chaussée, deux cellules disciplinaires ou cachots disposent encore de vastes bat-flancs sur lesquels dormaient les prisonniers. Les doubles portes et grilles croisées des fenêtres laissaient peu d'espoir d'évasion. Les bats-flancs (lits en bois), les portes et les volets sont recouverts de graffitis gravés par les détenus.

En 1978, la municipalité envisage de détruire l'édifice - alors dans un état de vétusté avancé - pour y construire des bâtiments à usage administratif. Les habitants d'Auray protestent, en particulier par le biais de l'association "Auray-Passé-Présent", et obtiennent l'arrêt du projet de démolition. La Ville d'Auray lance alors des travaux de réhabilitation sous le contrôle de l'architecte des Bâtiments de France (M. Pilven) et conclut un bail emphytéotique avec l'Office HLM pour la réalisation de logements au premier étage et dans les étages sous combles (Archives municipales d'Auray, 76W38).

Projeté en 1984 par Jean-Bernard Louis Le Port, adjoint au maire, une "Maison de l'Histoire" est inaugurée dans l'ancienne prison le 16 juillet 1988. Les salles du rez-de-chaussée et les cachots accueilleront des expositions consacrées à l'histoire d'Auray, de la préhistoire à l'époque contemporaine. C'est à partir des années 1990 que la Ville d'Auray réinvestit les locaux pour y accueillir le service municipal "Patrimoine", réservant un bureau et une salle d'ateliers pédagogiques.