Vermoedelijk was het Land van Herpen omstreeks 1140 een allodium dat in het bezit was van de Heren van Rhenen.
Tot 1178 was de heerlijkheid Herpen in handen van Dirk van Rhenen (ca. 1111-1178), burggraaf van Utrecht. Hij was een broer van Godfried van Rhenen († 27 mei 1178), de toenmalige bisschop van Utrecht. Dirks enige erfgenaam was zijn dochter Sophia van Rhenen. Zij was omstreeks 1160 getrouwd met Hendrik II van Cuijk (ca. 1130-1204), heer van Cuijk en Grave (later eveneens burggraaf van Utrecht). Waarschijnlijk is Sophia omstreeks 1191 overleden. Haar man droeg toen de tot dan toe allodiale heerlijkheid Herpen (allodium de Herpen [2]) aan hertog Hendrik I van Brabant in leen op. Hendrik II van Cuijk werd in 1191 dus zelf de leenheer. Herpen was Brabants geworden.
