La iglesia data del siglo XV y es de una sola nave cubierta con bóveda de cañón con cuatro lunatos y un presbiterio escasamente diferenciado. En su interior se encuentra la imagen de Nuestra Señora de Piedras Albas que fue tallada en el siglo XX por el escultor Sebastián Santos para sustituir a otra imagen anterior que resultó destruida al inicio de la guerra civil española de 1936. La ermita está rodeada de montes, cañadas y al frente se alza el cerro denominado Cabeza del Buey, que en su día albergó el primer asentamiento localizado en el municipio.
El manuscrito titulado Noticia histórica, geográphica y coronológica del santuario de N. M. y. S. de Piedras Albas, que existe en el lugar del Almendro, de la jurisdicción y condado de la villa de Niebla (hoy de propiedad municipal), firmado en 1786 por Andrés Barba Roxo, da cuenta precisa de éste y del resto de edificios religiosos de la localidad, narrando los sucesos tenidos por sobrenaturales que dan origen a la devoción y aportando importantes pormenores históricos, de manera que, según el manuscrito, la traslación en el siglo XVI del antiguo emplazamiento de los vecinos de Osma a uno nuevo que se habría de llamar El Almendro, permitida y propiciada por el señor del lugar, conde de Niebla y duque de Medina Sidonia, tiene, merced a este documento, una razón más que la justifica: lo insalubre del lugar, aunque la documentación aporta razones para asentar que lo fue por decisión señorial.