En 1033, il contracta alliance avec la famille richement possessionnée en Autunois et en Charolais des seigneurs de Semur-en-Brionnais en épousant, en premières noces, sa cousine au second degré Hélie de Semur-en-Brionnais (1016 - †1056), fille de Dalmace Ier de Semur (ou Dalmas ou encore Damas), seigneur de Semur-en-Brionnais, et d'Aremburge de Vergy fille de Henri 1er de Bourgogne et nièce du roi Hugues Ier.
De son premier mariage avec Hélie de Semur, ils eurent19 :
Hugues de Bourgogne, né en 1034, († 1058 ou 1059 ?).
Henri de Bourgogne (1035 - († 1070 ou 1072)
Constance (1036 - † 1092), mariée à Hugues II de Chalon († 1078), puis en 1081 avec Alphonse VI de León (1040 - † 1109)
Il répudia Hélie20 et se remaria avec Ermengarde, dite Blanche, fille de Foulque III Nerra, comte d'Anjou, et Hildegarde de Sundgau, et veuve du comte de Gâtinais Geoffroy Ferréol.
