Diversos autores indican que la Iglesia del Castillo fue templo mozárabe e incluso que se remonta a tiempos visigodos. La primitiva iglesia estuvo dedicada a Nuestra Señora de La Encarnación, ejerció como parroquia hasta que en 1540 se bajó el Santísimo a la Iglesia de La Asunción.

El Santuario actual es del primer tercio del siglo XIX. La iglesia ha sufrido varias transformaciones. De planta rectangular, consta de una sola nave dividida en tres tramos, crucero no señalado en planta e interrumpido por la línea de capillas y presbiterio. El retablo Mayor es de estilo neobarroco, el camarín es una obra rotonda ovalada sobre la que voltea cúpula semiesférica rasgada por estrellas de seis puntos, obra del arquitecto Justo Millán.

La imagen de la Purísima Concepción se erige en el centro, es obra del escultor Miguel Torregrosa (1941). En el lado del evangelio se erige la Capilla del Santísimo Cristo del Sepulcro, donde se venera la imagen del Patrono de la ciudad, Cristo Yacente en la urna. En la parte superior de la fachada se halla una imagen pétrea de la Virgen. En los colaterales sendas torres gemelas de planta cuadrada flaquean el pórtico y en sus cuerpos superiores se encuentran los cuerpos de campanas. Ambas torres están culminadas por unas esculturas de 1951 que representan, en la derecha, El Corazón de María y en el contrario El Corazón se Jesús.