Selon Guillotin de Corson, le monastère des Visitandines du Colombier fut fondé par les Visitandines du faubourg de Saint-Laurent, autorisée à agrandir leur établissement par l'évêque et par le vicomte de Rennes. La maison noble du Colombier, dans le faubourg de Nantes, est acquise en 1633 à Guillaume Subtil et à sa femme Anne Chapon. La communauté de ville réticente au début, se pliera cependant à la volonté royale. La chapelle provisoire, aménagée au moment de leur installation en 1641, sera remplacée par une église conventuelle construite en 1674.

En 1789, les Visitandines du Colombier sont 39 dont 10 sœurs converses. Le couvent est fermé par les autorités révolutionnaires le 26 septembre 1792 puis vendu comme bien national le 29 janvier 1793 à monsieur Binet qui souhaite en faire une manufacture. Celle-ci fini par fermer et l'ensemble est vendu à plusieurs particuliers.

En 1820, nait le projet de construire à Rennes une grande maison centrale pour toute la Bretagne comprenant une prison pour femmes et hommes. En 1822, l’État rachète alors pour la somme de 140 000 francs, l’ancien couvent du Colombier aux 6 ou 7 propriétaires auxquels il appartient. De 1825 à 1830, on y entreprend de grands travaux pour ce projet mais en 1830, suite à la Révolution de Juillet, l’argent vient à manquer. Le projet de prison est abandonné et finalement une partie des bâtiments inoccupés du Colombier est transformée en écuries puis définitivement en caserne d’artillerie. En 1832, le terrain est cédé au ministère de la guerre.

Durant l'opération d'urbanisme "Colombier-rue de Nantes", menée de 1965 à 1980, la caserne qui conservait encore des vestiges de l'ancien couvent des Visitandines est détruit pour laisser place à plus de 2 000 logements, 22 500 m2 de surfaces commerciales, 16 800 m2 de bureaux et de parkings.

(Enquête thématique départementale, Sarah Kergus, 2025)