Per secoli la bianca roccia granitica su cui sorge il santuario venne utilizzata come pietra da taglio.
Qui, alle falde del monte Avigno, in origine sorgeva una cappella dedicata alla Madonna Addolorata, risalente probabilmente al XVI Secolo. Nel piazzale, denominato "il prato della tela", durante giornate calde e soleggiate, era in uso che le donne del paese vi si recassero a candeggiare la tela fatta in casa.
In seguito alle molte grazie avvenute la fama del luogo crebbe ed al posto della cappelletta venne edificata una prima chiesa, la quale, in una nicchia nella sacrestia, custodiva una statuetta della Madonna del Rosario ritenuta miracolosa.
L'attuale complesso fu voluto nel 1706 dal boletese Pietro Paolo Minola, che, in seguito ad una grazia ricevuta dalla Madonna, decise di far costruire a sue spese un nuovo santuario, in sostituzione del precedente.
I lavori iniziarono verso il 1725, grazie anche al contributo degli abitanti di Boleto. Nel 1748 fu completata la chiesa, mentre il campanile e la casa a lato furono terminati nel 1760. Il santuario fu consacrato ufficialmente nel 1771 dal Vescovo di Novara. La chiesa è a croce greca in stile barocco con due altari laterali; le architetture e gli affreschi sono opera del pittore-architetto valsesiano Lorenzo Peracino. La pala d'altare, appartenente al vecchio santuario, è una tavola del pittore cinquecentesco Fermo Stella da Caravaggio, rappresentante la Pietà.
Nel 1998, in occasione dei 250 anni dalla costruzione, l'intero complesso è stato completamente restaurato.