In 1464 trouwde Frederik met Aleida van Culemborg (overleden 20 juli 1471), vrouwe van Sint-Maartensdijk. Uit het huwelijk met Aleida werden twee kinderen geboren: Floris, graaf van Buren en Leerdam en heer van IJsselstein, ook genoemd Fleurken Dunbier (1470-1539) Wemmer van Egmont van Buren