Construcció àrab (s. X – XI) que va passar a ser una fortalesa cristiana l’any 1233. El castell va cedir-se a l’ordre del Temple i posteriorment a l’Ordre de Calatrava. Més tard, cap al 1277, els templaris tornen a fer seu el castell de Polpis, enfortint d’aquesta manera el seu enclau inicial en el Castell de Xivert.
Actualment resten en peu una única torre, la torre de l’Homenatge, i el recinte amurallat, que en el seu interior alberga uns arbres, anomenats altramús del diable, que s’utilitzaven per enverinar les puntes de les fletxes i llances que feien servir en els enfrontaments.