Le collège diocésain de Pontivy est installé dans le château des Rohan en 1931. A l’été 1934, des travaux sont lancés pour construire un établissement scolaire le long de la ligne de chemin de fer. Le collège Saint-Ivy est inauguré en 1936.

Durant la Seconde Guerre mondiale, le collège est occupé par l’Allemagne nazie. Le poste de commandement du 25e corps d’armée de l'armée de terre du IIIe Reich est aménagé dans l’enceinte de l’établissement scolaire et plusieurs bunkers sont construits.

Cette armée était commandée par Wilhelm Fahrmbacher (General der Artillerie), commandant supérieur de l'Allemagne nazie en Bretagne. Le général et ses officiers sont logés dans le château de Talhoët dominant la ville de Pontivy. Le 3 août 1944, ordre est donné aux troupes de se replier à Brest et à Lorient. Wilhelm Fahrmbacher se replie à Lorient transformée en "forteresse" (Festung) depuis janvier 1944.

Avant d'être exécutés ou déportés, de nombreux résistants sont arrêtés, emprisonnés et torturés à Pontivy, notamment dans les bâtiments de l’Ecole primaire supérieure de jeunes filles (aujourd’hui, collège Charles Langlais).

Dans la seconde moitié du 20e siècle, les bunkers ont servi de base à la construction de nouveaux bâtiments. Le collège est devenu un lycée : l’établissement d’enseignement actuel comprend le lycée Jeanne d’arc (enseignement général et technologique) et le lycée Saint-Yvy (enseignement professionnel doté de trois filières : hôtellerie-restauration, secteur industriel et secteur tertiaire).