Au XIIe siècle, l'aile ouest est attestée comme locaux d'habitation du Conte Gérard de Sponheim.

Au XVe siècle, sous l'impulsion de la Maison de Brandenbourg, les extensions sont importantes et la Tour de Bourgogne sur la partie sud témoigne des besoins de protection et...la nécessité de loger les prisonniers. Puis vient le Tour des Sorcières.

Au XVIIe siècle des salles de réception grandioses, de style flamand-espagnol, sont construites dans la partie nord à l'initiative de Claude de Lannoy.

La Famille continuera cette politique d'améliorations aux siècles suivants et de manière continue : logements pour le gardien (l'actuel café), les écuries à côté de la Tour des Sorcières...

Si le château ne subit pas les effets de la Révolution française et de ses troubles dans les Ardennes, au XIXe siècle, très précisement en 1887, les extensions des de Lannoy sont démolies en partie pour la construction de la demeure du comte de Berlaymont...l'actuel Hôtel du Parc.

Le château est vendu en 1927 à un propritaire privé et après l'incendie lors de la bataille des Ardennes, il est acquis par l'état luxembourgeois et restauré jusqu'à complère réouverture en 1996.