Filips huwde met Elisabeth van Vianen en kreeg de volgende kinderen:
Jan van Duivenvoorde (1285-1342), deze ging zich later Jan I van Polanen noemen.
Willem van Duivenvoorde (1290-1353), heer van Oosterhout en Dongen, deze wordt voor zijn tijd een zeer rijk man genoemd. Zijn neef Jan II van Polanen erfde alles na zijn overlijden.
- tot in de 19e eeuw geloofden sommige historici dat Jan I van Polanen en Willem van Duivenvoorde halfbroers waren, maar steeds meer historici, zoals Van der AA, geloven dat het volwaardige broers waren[3].
Kerstine van Duivenvoorde (1291-1350), zij huwde Arnout van den Dorpe.