El Castillo de Castro de Ouro tuvo su origen en un asentamiento castreño de comienzos del siglo primero después de Cristo. De esta construcción, sólo conservamos las estructuras exteriores de la torre homenaje de la primitiva fortaleza. Alrededor del siglo IX una familia de la meseta, apoyada por la monarquía asturiana, funda el monasterio familiar en el siglo XI bajo el poder de la diócesis de San Martiño de Mondoñedo quien lo fortifica. En el 1220 el rey Alfonso IX le concede el título de villa y todo un alfoz al Castro de Ouro y aproximadamente en esta época, la infraestructura del monasterio se militariza. En el siglo XV es ocupado por el Mariscal Pardo de Cela, quien lo pierde tras su muerte pasando a ser propiedad de la diócesis mindoniense.