La ville s'est probablement développée à partir du 11e siècle, période d'installation d'un premier château à cet endroit. Le premier château de Hédé était un château à motte, la motte Jeuhan. Il était composé d'une motte de terre sur laquelle se trouvait un donjon en bois. La ville s'est donc progressivement formée autour de cette fortification. En 1431, un incendie vient ravager de nombreuses maisons de la ville de Hédé. Les maisons les plus anciennes de la ville actuelle ne sont d'ailleurs pas antérieures au 16e ou 17e siècle. En 1464, malgré l'ordre du duc François II de clore la ville, celle-ci ne fut entourée de douves qu'au sud et à l'est, les deux autres côtés étant protégés par l'escarpement du rocher. Trois portes permettaient tout de même de pénétrer dans la ville : la porte de la Grande Rue au sud, la porte de Tinténiac au nord-ouest et la porte Combourgeoise à l'est. La Place de la Mairie était originellement occupée par les Halles, l'Auditoire et les Prisons. Ces bâtiments furent détruits au cours de la seconde moitié du 18e siècle. Le plan de 1680 nous montre l'aspect de la ville à cette époque ; elle était composée du château à l'ouest, de la place du Parquet (sud de la place de la Mairie actuelle) entourée de constructions, et de l'église au nord-est. Cette partie correspond au noyau le plus ancien de la ville ; il est représenté sur le premier cadastre datant de 1835. A cette époque, le faubourg sud de la ville était déjà très développé. Au début du 20e siècle, de nouvelles voies sont tracées, ainsi, en 1900, on créé le boulevard de la Gare (actuelle rue des Quatre frères Trotoux).