Construit vers 1390 par Jean de Sépoix, conseiller du roi Charles V, le château du Houssoy s'élève sur les fondations d'une ancienne maison forte. À cette époque, la guerre de Cent Ans fait rage et la vallée de l'Ourcq constitue un axe stratégique qu'il convient de défendre. Entouré de fossés alimentés par la rivière, le château contrôle les voies de passage et affirme la puissance des seigneurs locaux : les Comtes de Valois.
Si le logis seigneurial est en grande partie détruit lors de la Fronde, en 1652, le donjon carré demeure debout. Haut d'une vingtaine de mètres, il conserve encore ses salles voûtées, son escalier en vis, ses latrines en encorbellement et plusieurs éléments d'architecture défensive qui témoignent du raffinement autant que de la robustesse des forteresses de la fin du Moyen Âge.
Classé Monument historique depuis 1962, il est aujourd'hui le seul donjon médiéval de ce type conservé dans le nord de la Seine-et-Marne.