Esta fortificação esteve em poder de algumas das mais poderosas linhagens da Galiza: os Ulloa, os Zúñiga, os Viedma, os Fonseca, os Acevedo e finalmente a Casa de Alba. No século XII, o primeiro rei de Portugal Afonso Henriques, edificou o castelo, porém este rapidamente passou para o reino de Leão e Castela com a assinatura do Tratado de Tui em 1137, renunciando Afonso Henriques a possessões e pretensões na Galiza.
Neste lugar foi impresso o primeiro incunábulo galego, com a primeira imprensa de tipos móveis: a 3 de Fevereiro de 1494 foi estampado o "Missale Auriense", o primeiro livro editado na Galiza.