Hij huwde op 8 mei 1544 met Sabina van Beieren (1528-1578), dochter van Johan II van Palts-Simmern en Beatrix van Baden, waarmee hij zijn rijkdom nog verder vergrootte. Met Sabina kreeg hij 12 kinderen. Zijn jongste kind heeft hij nooit gezien; toen dat geboren werd, zat hij al opgesloten en alle brieven werden ongeopend teruggestuurd.