El Castillo de Ros fue mandado a construir por la orden monástica de San Felipe Neri. En un principio fue propiedad de la hacienda de Balsicas, después pasó a ser propiedad del Estado y por éste, le fue donada al General D. Antonio Ros de Olano y Perpinya.  La Reina Isabel II le otorgó a este señor los títulos de Vizconde de Ros de Olano y el de Marqués de Gaud-el-Yehi, con grandeza de España.

El edificio sufrió varias reformas realizadas por D. Antonio de Vega y Ros de Olano, nieto del General, quién heredó la hacienda de su madre Dña. Isabel Ros de Olano y Quintana de Romo y también el título de Vizcondado. El edificio es un antiguo caserón con torreón almenado. En la actualidad es de propiedad privada.