El castell de Vilafamés (la Plana Alta) domina la Plana de l’Arc des d'una altura de 400 m. S’hi han trobat indicis de poblament anterior en l’anomenat Abric del Castell. Al voltant, hi ha una reduïda vila vella.
La fortalesa, d’origen andalusí, tal com es desprén de la denominació que se li atorga a l’indret en diversos documents: Beni-Hamez, va ser conquerida per Jaume I el 1233.
El segle XIII, la vila i el castell van ser lliurats a l'Orde de Sant Joan de l'Hospital, fins a un segle després, que van passar a formar part de l'Orde de Santa Maria de Montesa. El mestre d’aquest últim va obligar els habitants a reparar i reforçar les fortificacions del lloc el 1375 alhora que el va transformar en un gran castell-palau. L’aspecte actual es va configurar al segle XIX durant les guerres carlines, quan es va bastir la torre central circular, un dels pocs exemples d’arquitectura carlina al País Valencià. Aquesta construcció va sofrir importants atacs durant aquests conflictes, la qual cosa va suposar l'adaptació del sistema de fortificació a les noves tècniques de guerra.
Conserva pràcticament completes les muralles i les dependències de caràcter palatí situades enfront de la torre esmentada, amb balcons que tenien matacans, i que en l'actualitat han estat transformats per una intervenció del segle XIX en què s’hi van afegir les espitlleres. Davant de la torre, hi ha un espai rectangular a manera de pati en el qual hi ha una cisterna, possiblement l'únic vestigi de l'època musulmana.
Manté gran part de la seua estructura antiga, que es va restaurar fa anys.