Le château de Belle-Isle est probablement édifié à l’initiative des comtes de Bretagne dans le courant du 12e siècle. Issu des comtes de Rennes par l’intermédiaire d’Eude de Bretagne, les comtes de Bretagne s’implantent vers 1030 sur la côte nord de la Bretagne avec comme capitale Guingamp et plus tard Lamballe. Ils sont à l'origine du lignage des comtes de Penthièvre. L’apanage des comtes de Penthièvre s’étend d’est en ouest, de Lamballe à Lannion. La limite sud de leur apanage est - historiquement et de manière simplifiée - matérialisée par les villes et châteaux de Moncontour, Quintin, Avaugour, Bourbriac, Belle-Isle et Plougras.

La première mention de la seigneurie de Belle-Isle est attestée en 1212. Henri d’Avaugour, descendant en ligne direct d’Eudes, hérite à la mort de son père Alain, des droits sur les terres de Lannion, Guingamp et Belle-Isle. Henri est un prince qui peut prétendre à la couronne ducale, c’est pourquoi Pierre Mauclerc, nouveau duc installé par le roi de France, tente de défaire Henri de toute prétention. En 1214, il profite de la minorité d’Henri, le fait déposséder de ses biens et fait entrer dans le domaine ducal les châteaux de Jugon, Lamballe, Moncontour, Minibriac, Guingamp, Lannion et Belle-Isle.

En 1313, le duc Jean III reconstitue le comté de Penthièvre au profit de son frère Guy de Bretagne et à qui il fait don du comté de Tréguier avec les châteaux associés, dont Belle-Isle. Guy aura une fille Jeanne de Penthièvre qui à la mort du duc se retrouve comme héritière du duc en compétition à Jean de Montfort ce qui entamera la guerre de succession de Bretagne jusqu’en 1364.

En 1420, intervient l’attentat de Champtoceaux, Margueritte de Penthièvre fait enlever le duc Jean V et l’enferme dans son château. La duchesse fait lever une armée et libère le duc. En conséquence le duc fait saisir toutes les possessions des Penthièvre en Bretagne dont Belle-Isle et fait don de la seigneurie de Belle-Isle à Jehan de Kermellec, l’un des seigneurs emprisonnés avec lui.

Pierre de Bretagne, le frère du duc François Ier et seigneur de Guingamp acquiert en 1444 "tout le droit lui appartenant en la seigneurie de Belleisle et de Beaufort (Beffou à Plougras) tant en propriété que possession quelles terres furent autrefois à feu Olivier de Blois et ses complices, lequel feu duc en avait don et transport aud de Kermellec".

Suite à sa montée sur le trône ducal, Pierre fait donation de la seigneurie à son neveu Jean de Laval en 1453, mais la seigneurie reste entre ses mains jusqu’en 1586.

La seigneurie est ensuite vendue à Claude de Kerguezay, seigneur de Kergomar.