Het kasteel werd gebouwd in het tweede deel van de 15 de eeuw in opdracht van Humbert Combursier, Koninklijk kasteelheer van La Mure. De “Dauphins”
kwamen er regelmatig voor een verblijf tijdens de jacht. Het is één van de weinige gebouwen die gespaard bleven tijdens de godsdienstoorlog. Een
Zusterorde (les Soeurs de la Nativité) kocht het kasteel op in 1832 en bouwde er een kapel aan vast. In 1851 werd het een meisjesschool.
Met de scheiding van staat en kerk in 1905 kwam het kasteel in stadsbezit. Het kreeg eerst de functie van een hogere meisjesschool, vervolgens werd het
een gemengd college en uiteindelijk een internaat. In 1988 besloot de toenmalige eigenaar, “ l’Éducation Nationale “, het gebouw af te stoten. In 1994, na een
aantal belangrijke ingrepen kreeg, het de functie van : sociale instelling en huisvesting voor jonge arbeiders. De constructie is massief, met dikke muren. Het hoofdgebouw werd voorheen omringd door vier torens. Tegenwoordig staan er nog slechts twee. Één daarvan dateert uit de 15de eeuw : de zuidoostelijke.
Op het wapen van de stad staan drie kastelen afgebeeld. Één daarvan verwijst naar het kasteel“De Beaumont” .