Los orígenes del castillo de Celda se han de remontar a época islámica, al igual que un relevante poblamiento asociado a la fortificación, que se sitúa en la fachada oeste del cerro.Incluso algunos autores han identificado estos restos monumentales con el castillo de Yayttilla, mencionado por el geógrafo musulmán al-Udri a mediados del siglo XI.
No obstante, es ya en época cristiana, a partir de la segunda mitad del siglo XIII, cuando las noticias referentes al castillo comienzan a ser más reveladoras. Gracias a ellas sabemos su final dependencia de la Orden de Santiago y su probable abandono y destrucción hacia el siglo XVI.
En la actualidad, podemos contemplar las ruinas de una fortificación adaptada a la cumbre del cerro, con planta casi rectangular y torreada, en cuyo interior se conservan aún varios aljibes. Hacia la ladera oriental se situó el poblamiento, cuyos restos son apenas perceptibles. Todas estas estructuras constructivas se encuentran declaradas Bien de Interés Cultural por la Disposición Adicional Segunda de la Ley 16/1985, de 25 de junio del Patrimonio Histórico Español.