El castell d’Andilla (els Serrans), d’origen musulmà, ocupa el cim d’un turó de quasi 900 metres d’altura que domina la població, al costat de l’ermita de Santa Agnès.
El lloc i la fortalesa van ser donats per Jaume I a Eixim Pérez d’Arenós, en escriptura atorgada a Saragossa el 27 de desembre del 1237, abans de la conquesta de València. Des de llavors, el senyoriu ha conegut nombrosos canvis de titularitat i successives i diferents famílies propietàries, com ara els Prades, els Heredia, etc., fins a arribar als Marcilla i Santa Creu.
A principi del segle XX, segons es diu, conservava les tres torres. A part del castell, la vila estava protegida per muralles, que han desaparegut pràcticament del tot. Només subsisteix una porta sota una torrassa medieval del segle XIV que alberga actualment el Museu Arqueològic Municipal. Construïda en blocs de carreu, les àmplies dovelles de l’arc de mig punt mostren en la clau l’escut nobiliari de Ximén Pérez d’Arenós.
La fortificació islàmica va ser probablement bastida el segle XI, i va haver de ser aprofitada pels senyors feudals cristians, ja que controlava el pas del camí reial de València i Aragó. Després va ser abandonada progressivament, fins que va tornar a utilitzar-se durant les guerres civils dels segles XIX i XX, uns conflictes bèl·lics que la van destruir.
