Quando São Tiago Apóstolo, 42 ou 46 anos após a morte de Jesus, veio até a península propagar a sua doutrina, desembarcou num dos portos da Galisa. Essa província naquele tempo vinha até as margens do Rio Douro. São Tiago deve ter desembarcado num dos portos minhotos porque se dirigiu diretamente a Braga. Nesta cidade juntou nove discípulos, todos minhotos a quem deu instruções e indicou vários lugares para que fossem espalhar a doutrina de Deus. Ele, São Tiago, partiu para Saragoça, na Espanha, mas antes erigiu em Braga um altar onde colocou uma imagem de Nossa Senhora e sagrou o primeiro bispo primaz, São Pedro de Rates, um herege que veio com ele e por ele é convertido à Fé Cristã.

Em Saragoça levantou novo altar à Virgem, a que chamou Nossa Senhora do Pilar. E, regressando a Portugal, passou por Guimarães, onde encontrou um templo profano dedicado à deusa Ceres. Destruiu os ídolos desse templo, purificou-o colocando lá uma imagem da Virgem a que deu o nome de Santa Maria. Todas estas imagens foram trazidas por ele do Oriente e foi perante esta que, de Guimarães que batizou São Torquarto. Esse Templo por ele dedicado à Santa Maria foi depois, pelo povo, dedicado ao próprio São Tiago, e mais tarde, muito mais tarde, à Nossa Senhora de Guimarães, que foi o nome que tomou a imagem por ele lá colocada.

Essa imagem, ali se conservou até o ano de 417, ano em que os álamos, os suevos e outros povos bárbaros invadiram a península, destruindo tudo quanto dissesse respeito ao cristianismo e, para que essa não fosse destruída, o então arcebispo de Braga, D. Pancrácio, ordenou que a escondessem, escolhendo para isso um local ali perto, chamado Monte Latito, que hoje tem dois nomes, o de monte ou montanha de Santa Maria e do Largo, nome este derivado de Latito. No tempo do Conde D.
Henrique, era essa Nossa Senhora de Guimarães, a Virgem de maior devoção entre o Douro e o Minho, ou seja, em todo o condado Portucalense e terras da Galisa, de tão grande devoção, que a Ela se deve o não ter sucumbido pelo menos decaído em muito a cidade de Guimarães, quando D. Afonso Henriques mudou a capital do País para Coimbra. A influência de romeiros vindos de toda parte, manteve de pé a importância da antiga Capital. Nossa Senhora de Guimarães começou a ser venerada como Nossa Senhora da Oliveira, no reinado de Afonso IV. É curiosa a lenda que deu a causa da mudança do nome.

Quando este rei ganhou a batalha do Salado, tinha vindo antes a Guimarães implorar a proteção da Virgem e depois da vitória, em agradecimento, mandou erigir um padrão ou cruzeiro em frente à Igreja onde estão sob a cúpula de abóboda de pedra Jesus crucificado e uma imagem de Nossa Senhora, chamada de Vitória. Diz-se também que fora um devoto da Virgem que mandara vir da Normandia este cruzeiro. De uma forma ou de outra, o que importa é o seguinte: quando foi inaugurado, organizou-se uma procissão incorporando-se nela o andor de Nossa Senhora.

Ao passar diante do padrão parou a procissão ficando a Virgem de frente voltada para o mesmo, e todos viram com assombro, uma oliveira seca desde há muito ali estava, começar a reverdecer, enchendo-se de folhas e de frutos. Foi este fato atribuído a um milagre de Nossa Senhora e desde este dia, 08 de setembro de 1342, Natividade de Nossa Senhora, é que existe Nossa Senhora da Oliveira, devido a este milagre. A imagem é a mesma trazida por São Tiago Apóstolo há quase dois mil anos.
O templo atual, ao lado da Colegiada que fundou Afonso Henriques, foi reconstruído por D. João I porque também esse rei atribuiu à Nossa Senhora da Oliveira a sua grande vitória na batalha da Aljubarrota. Era tal a devoção desse rei por essa Virgem que, terminada a batalha foi a pé, de Aljubarrota à Guimarães, ajoelhar-se a seus pés e fazendo-lhe uma oração muito sentida, da qual constam as seguintes palavras: “Senhora, eu confesso e quero que todos saibam que, por Vossa virtude somente, venci esta batalha.” Colocou depois as armas sobre o altar e disse: “Vós, Senhora, m’as destes, Vós as tomai e guardai”. Depois disso, D. João I nunca entrava num empreendimento sem pedir a proteção de Nossa Senhora da Oliveira. Ia antes a Guimarães, colocava a sua armadura sobre o altar; orava por algum tempo e pedia licença para se retirar. E quando regressava, vitorioso, fosse do ponto que fosse, longe ou perto, ao pisar terra portuguesa, apeava-se do cavalo e partia a pé, até Guimarães, a ajoelhar-se perante Nossa Senhora da Oliveira. Foi assim de Castela de Tuí e até no regresso da conquista de Ceuta. E ainda de Vale de La Mulla (180Km)”.