Gijsberts vader was de 'nobilis' of edelvrije Wouter, graaf van Goye, die wordt vermeld 1208-1232. Zijn moeder was Rixa van Amstel, zelf van onvrije of ministeriale afkomst, waardoor ook haar kinderen in deze stand werden geboren. Zoon Gijsbert heeft kennelijk nog geprobeerd te titel 'graaf' te voeren; zijn zegel uit 1252 laat zien dat daarop een woord is uitgestoken, waar deze titel vermoedelijk stond vermeld. Als ridder zegelde Gijsbert met een groot ruiterzegel, waarop hij als ridder te paard staat afgebeeld. Graaf Wouter stamde af van Waldger (verm. 898-928), graaf van Teisterbant en graaf in IJssel en Lek, Nifterlake (Utrecht) en Upgoye.
