Hij huwde in 1516 in Brussel met Françoise van Luxemburg († 1 september 1557), dochter van Jacob II van Luxemburg, heer van Fiennes en Gavere en Margareta van Brugge-Gruuthuse.
Uit hun huwelijk sproten drie kinderen:
Margaretha (1517 – Bar-le-Duc 10 maart 1554), gehuwd met Nicolaas van Lotharingen (1524 – 1577)
Karel († Cartagena 7 december 1541) derde graaf van Egmont en heer van Baer
Lamoraal (1522 – 1568) vierde graaf van Egmont en heer van Baer