El castell de Gaibiel (l’Alt Palància) està situat al cim de la muntanya anomenada la Umbría, davant de la vila.
La fortalesa és d'origen islàmic, en concret de l'època almohade, tot i que s'han trobat restes d'un assentament iber. Posteriorment, va ser ampliada els segles XIV, XVI i XIX. Després de les guerres carlines va quedar en estat d'abandó i durant la Guerra Civil es van excavar trinxeres a l’interior, que encara es poden apreciar.
El 1237, després de la conquesta de la zona per part de les tropes del rei Jaume I, Gaibiel va ser cedida a Pere Garcés de Roda. Posteriorment, fins al segle XVII va estar en mans de la família Heredia. El 1636 va passar a ser propietat dels comtes de Priego a través dels Garcés de Marcilla, hereus de la família Heredia a la baronia.
Les diverses ocupacions al llarg de la història han fet que hi haja estructures que pertanyen a moments constructius diferenciats, així com la reutilització i la modificació d'espais. Es tracta d'un castell de planta poligonal irregular (de només 350 metres quadrats de superfície construïda), amb muralles, torre de l'homenatge i torres circulars.
A principis del segle XXI va estar reconstruït, després que s’hi dugueren a terme diverses intervencions arqueològiques. Així, la del 2004 va permetre constatar l'existència de diferents habitacles: cuina, que a més presentava un forn morú; capella, que presentava unes dimensions considerables; nevera interior; dos aljubs, i zona de pati.