In 1139 bezocht Diederik Jeruzalem en trouwde daar met Sybille van Anjou, weduwe van Willem Clito en dochter van Fulco, koning van Jeruzalem.
Diederik en Sybille hadden de volgende kinderen:
Boudewijn, overleden voor 1154
Filips, graaf van 1168 tot 1191
Mattheüs, gehuwd met gravin Maria van Boulogne
Pieter (-1176), proost van Brugge en Sint-Omaars, bisschop van Kamerijk, gaf zijn kerkelijke functies op om te trouwen met Mathilde, de weduwe van Gwijde van Nevers en werd zo graaf van Nevers. Hij kreeg een dochter Sybille die trouwde met Robert van Wavrin, seneschalk van Frankrijk.
Gertrude (-1186), gehuwd met Humbert III van Savoye en daarna met Hugo III van Oisy.
Margaretha, gravin van Vlaanderen 1191-1194, gehuwd in 1169 met graaf Boudewijn V van Henegouwen, moeder van Boudewijn I van Constantinopel graaf van 1194-1205
Matilda (ovl. 24 maart ca. 1194), 1187 abdis van Fontevraud
Diederik had daarnaast drie buitenechtelijke kinderen:
Gerard (ovl. 1206), provoost van Brugge, kanselier van Vlaanderen, lid van de raad van regenten in 1202.
Willem Bron (ovl. voor 1167), getrouwd met Christiana, ze hadden een zoon die ook Willem Bron heette.
Conon