Konrad war verheiratet mit Clémence von Poitiers,[1] einer Tochter des Guillaume l'Aigret, Herzog von Aquitanien, aus der Familie der Ramnulfiden. Kinder aus dieser und möglicherweise einer weiteren Ehe waren:
Heinrich († 1096), als Heinrich III. Nachfolger seines Vaters als Graf von Luxemburg
Wilhelm († 1129), Nachfolger seines Bruders Heinrich nach dessen Tod
Ermesinde († 1141)
Als weitere Kinder werden in der Literatur genannt: Mathilde, Rudolf, Konrad und Adalbert.
