In de eerste helft van de 12e werd door Godfried van Aarschot, heer van Rhenen, die in 1110 getrouwd was met Sophia van Bemmel van Kleef, een castrum gebouwd op een alodiaal goed. Dit castrum bestond waarschijnlijk uit een door een gracht omgeven palissade, waarbinnen zich een gebouw bevond. In 1159 vond er een opstand plaats van zijn eigen burgers en ministerialen, waarbij kasteel Ter Horst verwoest werd. Godfried laat het kasteel daarna in steen herbouwen, omdat het kasteel van belang was om zijn bisdom tegen de Hertog van Gelre te beschermen. Niet ver van het kasteel werd een kapel gebouwd, die gewijd was aan St. Pancratius. Deze kapel werd een bisschoppelijke eigenkerk. Door de bisschop werd een kastelein benoemd, die later de titel van burggraaf kreeg, voor het beheer van het kasteel. Na lang voor zijn dood in 1178 schenkt Godfried het kasteel aan de kerk van Utrecht ten dienste van het bisschoppelijk bestuur.
