Nada se sabe de los orígenes de este castillo, uno de los más antiguos de Europa. Huellas romanas, visigodas y árabes dan paso a su actual arquitectura que data del siglo XV.
Fue residencia de Abderramán III (el grande), así como de los reyes de Castilla León durante la Edad Media y está entreverada de leyendas. Se sitúa en el extremo más escarpado de la villa, aprovecha parte de esta muralla y conserva restos de un frente con elementos románicos, que podría corresponder a una primitiva fortaleza. En la segunda mitad del siglo XV, García de Herrera levantó un castillo aprovechando estos restos y adelantando el frente que da al pueblo con un muro de notable espesor. Se conserva sólo el escudo de los Herrera en la boca de un aljibe que se sitúa en el interior de la fortaleza.
Tras la ocupación por Enrique IV, pasa mas tarde a manos de los Condestables de Castilla, para entrar en la historia de Europa cuando alberga como rehenes, a raíz de la batalla de Pavía, a los hijos de Francisco I de Francia hasta que se firma el tratado de Paz de Cambrai (Paz de las Damas) y fue en el año 1921 cuando con ocasión de sus continuas visitas a Segovia desde París, el pintor Ignacio Zuloaga se interesó por el castillo, adquiriéndolo y acondicionándolo parcialmente.
Es de destacar, en la sobriedad del conjunto, el frente de cierre amurallado franqueado por los dos cubos de las Torres, la puerta de entrada original del siglo XV en álamo negro, la gran torre del Homenaje, el patio de armas con aljibe románico y los arcos, que destacan con fuerza en el conjunto de los muros vaciados de su estructura interior.
El castillo de Pedraza es hoy un castillo sin apenas mas estructura que sus muros y sus fosos, con sus torres desmochadas, que levanta la masa imponente de su conjunto en la ladera norte de la colina rocosa donde se asienta Pedraza de la Sierra.
El emplazamiento es verdaderamente espectacular, sobre la vega del río Cega, con el pueblo de La Velilla en el bajo y dominando desde su privilegiada atalaya, con su severa silueta, uno de los horizontes más bellos de Castilla.
Anualmente, entre los meses de junio y julio, en el espléndido marco de la explanada del castillo, se celebran importantes conciertos que pretenden fomentar progresivamente el ambiente cultural de Pedraza.
En esta localización, estaba la primitiva población de los siglos IV-III a.C, que pasaba inadvertida desde la parte de abajo. Es en el siglo X (año 938) cuando aparece el nombre de Pedraza en los textos históricos castellanos en el voto de San Millán. El Concejo de Pedraza, con la presencia del alcalde, caballeros y escuderos aprobaban las ordenanzas para el aprovechamiento de los terrenos comunes, la vigilancia de viñas y pastos y regulaban el uso de las aguas públicas.
Desde el siglo XIV Pedraza fue dominio señorial, situación que se mantuvo hasta comienzos del siglo XIX cuando desaparecen. Desde la Edad Moderna hasta ahora, la ganadería es fundamental para esta villa. Los talleres segovianos se hicieron famosos en toda Europa y la lana castellana abastecía talleres de Brujas y Florencia.
El castillo se sitúa en el extremo más escarpado de la villa, aprovecha parte de esta muralla y conserva restos de un frente con elementos románicos, que podría corresponder a una primitiva fortaleza. En la segunda mitad del siglo XV, García de Herrera levantó un castillo aprovechando estos restos y adelantando el frente que da al pueblo con un muro de notable espesor. Se conserva sólo el escudo de los Herrera en la boca de un aljibe que se sitúa en el interior de la fortaleza.
El espacio despejado de edificaciones que hay delante del castillo podría pertenecer a la lógica artillera que obligaba a eliminar cualquier obstáculo en el entorno. Este "glacis" debía estar libre en el siglo XVI por cuanto, buscando espacio para los rehenes franceses se eligió Pedraza porque tenía "un pedaço de canpo llano dentro de la villa entre ella y la fortaleza".
