Vers 1013, il épouse Aremberge ou Aremburge de Bourgogne, dame de Vergy (~988 ou 999 - ap. 1016 ou 1025 ?)8 fille d'Henri Ier de Bourgogne dit le Grand Robertien, duc de Bourgogne (~945-1002), et Mahaut de Chalon, dame de Donzy (vers 968 - 1015), avec laquelle il aura dix enfants :
1°- Héliette de Semur, ou Hélie dite à tort Elvie ou Hermegarde9(vers 1015 à Semur- 22 avril après 1055)10, mariée vers 1032 à Robert Ier de Bourgogne, duc de Bourgogne (~1011 - 1076), qui assassina son beau-père, elle entra ensuite au prieuré de Marcigny11.
2° - Geoffroy III de Semur, (~1018/1025 - ~1090), 5e seigneur de Semur, marié à Alix de Guines (~1030)12. Il renonça au mode et se retira à Cluny avec l'un de ses fils et trois de ses filles se retirèrent au prieuré de Marcigny, puis il devint prieur de la communauté de Marcigny.
3° - Hugues de Semur, dit de Cluny saint Hugues (1024 - 1109), abbé de Cluny.
4° - André de Semur, (°? - † ?), présent en 1063 à la donation des terres et de sa seigneurie de La Roche-Millay dans le Morvan, faite cette année-là par son frère aîné Geoffroy II au prieuré de Marcigny13.
5° - Josserand de Semur, ou "Joceran" († 1048), tué en même temps que son père par deux soldats du duc alors qu'il s'interposait dans la dispute. Le meurtrier pris de remords et également pour échapper à la justice vint à Cluny confesser son crime à saint Hugues qui lui accorda son pardon et l'admit parmi les religieux14.
6° - Dalmace de Semur, dit "le Jeune", seigneur de la tige de Montaigu (vers 1020), d'Oyé et de Trémont. Il est souvent cité dans les chartes de son frère Geoffroy. De son épouse dont on ignore le nom, il eut deux fils : Renaud de Semur, seigneur de Montaigu après son père, et Hugues de Semur dit Hugues de Montaigu, abbé de Saint-Germain d'Auxerre, puis évêque d'Auxerre, ville où il mourut en 113615.
7° - Adélaïde de Semur dite aussi Aélis de Semur (°1055 - † ?), épouse du baron Dalmas de Châtel-Montagne en Bourbonnais. Elle avait eu pour dot la seigneurie de Vitry-lès-Paray16 avec de grands biens à Briennon. Elle entra au prieuré de Marcigny en 106617 et du consentement de son fils Pierre de Châtel, fit de notables donations sur Vitry et Briennon au prieuré de Marcigny18.
8° - Mathilde de Semur, dite Mahaut (vers 1030), mariée avec Guichard de Bourbon-Lancy, seigneur de La Motte Saint-Jean. Veuve, elle entra en 1082 au prieuré de Marcigny.
9° - Cécile de Semur19.
10° - Evelle ou Ouelle.
11° - Hermengarde de Semur20, première prieure de Marcigny en 106121.
Renaud de Semur (vers 1016-? av. 1040)22, marié avec Adèle de Bar (vers 1010-1053), comtesse de Bar-sur-Aube.
