El castell de Planes (el Comtat) està situat al bell mig del nucli urbà i en una situació estratègica, entre la confluència de dos barrancs, el de l’Or i un afluent d’aquest. Aquest enclavament privilegiat tenia diverses funcions: controlar la zona de pas del riu Serpis i servir com a refugi i defensa dels habitants del lloc. També s’hi han trobat restes de l’edat de Bronze.
Els orígens es remunten al segle XII, en època islàmica, però va ser modificat posteriorment en època cristiana per dos motius amb molta probabilitat: a causa d’un terratrèmol o per a convertir-lo en residència feudal, ja que anteriorment només tenia funció defensiva.
El recinte de forma poligonal estava envoltat per huit torres de planta rectangular. En l’actualitat, la part millor conservada és l’entrada al castell, amb dues torres i un portal d’arc de mig punt. L’interior és una plana de terra.
La torre més gran, que també fou construïda en època cristiana, s’ubica a la zona nord i encara manté la primera planta. Cap de les altres torres conserva cap estança, únicament hi romanen els basaments i altres restes.
A banda dels elements descrits, també s’hi poden apreciar elements de menor importància, com ara diversos contraforts i altres reformes cristianes, que van anar readaptant el castell per a la situació de cada moment.
Segurament, la fortificació va donar servei fins als segles XVIII – XIX, però que no va arribar a ser mai un important castell feudal. Tanmateix, cal destacar la vital importància que va tindre durant la conquesta de Castella de les terres del sud de la Corona d’Aragó. Les forces aragoneses, fortificades en aquest emplaçament, van aconseguir aturar les tropes castellanes als alts del Llombo, molt prop de Planes, el 1363.
