Reconstruit en 1885, et adapté au fil des années (chauffage central, douches...), le lycée Joseph Loth fit l'objet, dès le début des années 1960, d'échanges de courrier entre le maire de Pontivy et le préfet du Morbihan, afin d'envisager sa rénovation et son agrandissement.

Une quinzaine d'années plus tard, le 16 avril 1976, le recteur visitait les établissements scolaires de la commune. Le compte-rendu de la réunion indiquait :

"Il [le lycée Joseph Loth] fonctionne dans des locaux vétustes et en grande partie mal adaptés. Il comporte un internat féminin installé dans une annexe éloignée de l'établissement principal. Il faut envisager, soit une reconstruction, soit une restructuration de l'établissement. La deuxième solution présenterait l'avantage de disposer à l'avenir, comme maintenant, d'un établissement public de second cycle au centre de la ville où sont groupés et les établissements privés."

Le 2 avril 1982, le conseiller technique du recteur, M. Rutiny, écrivait au Maire que le projet proposé par l’architecte de la Ville, M. Roynard, mandaté par délibération du Conseil municipal en date du 11 mars 1981, représenterait le double de la dépense subventionnelle. Le conseiller du recteur devait ainsi proposer d'arrêter un nouveau projet de programme de construction, pour un lycée de 800 places.

Cette même année, Brigitte Grégoire présentait, pour le concours de conseiller d'éducation, un mémoire sous la forme d'un "Projet éducatif pour un plan de restructuration", dans lequel elle publiait des clichés réalisés par les élèves du club photo du Lycée. Ces vues sont également utilisées dans un recueil, conservé par un enseignant du lycée, titré "Lycée d’État de Pontivy. Plaidoyer en images", à l'appui d'une double revendication : l'étatisation du lycée et sa restructuration. Ces mémoires et leur iconographie portent témoignage de l'état de vétusté du lycée. Seule la documentation, mise en service en 1976, dans un dortoir obtient un satisfécit.

C'est finalement au milieu des années 1980, que sous la responsabilité d'une équipe d'architectes associant deux agences "L'Hyver - Menguy" et "Avon - Rialland", débute la restructuration et l'extension du lycée. L'architecte Hervé L'Hyver, reprend l'idée d'une nouvelle aile, le long de la rue Saint-Jory, mais la destine aux salles de sciences, à la restauration scolaire et à la création d'un amphithéâtre. Le dortoir nécessaire pour loger les filles trouve sa place dans les espaces ainsi libérés dans les bâtiments du 19e siècle, restructurés à la suite. L'une des ailes des années 1880, située le long de la voie ferrée, est démolie afin de pouvoir l'élargir et créer un "demi-gymnase", audacieusement installé à l'étage.

Débutés au moment où les lycées sont transférés aux Régions, les travaux s'achèvent en 1996. Les cours ont été maintenus sur place pendant toute leur durée.