La Vierge de la Solitude fut l’objet d’une très grande dévotion, tant en Espagne que dans le Nouveau Monde. De 1565 à 1809, son image fut conservée au couvent de Nuestra Señora de la Victoria, ordre des Minimes. Avec la suppression des ordres religieux décrétée par Joseph Bonaparte le 18 août 1809, les Minimes furent expulsés de leur couvent et l’image de Notre-Dame de la Solitude transférée à la Collégiale royale de San Isidro.
Ce premier séjour fut bref : à la suite du retour de Ferdinand VII et de la restauration des ordres religieux (décrets royaux du 18 février et du 26 août 1813), les Minimes regagnèrent leur couvent, emportant à nouveau la Vierge de la Solitude avec eux. Elle y demeura jusqu’à la Desamortización de Mendizábal (1836), qui entraîna la suppression définitive du couvent de la Victoria, bientôt démoli. La statue fut alors ramenée à la collégiale San Isidro.
Ce second séjour dura cent ans, jusqu’à la nuit du 19 au 20 juillet 1936, au début de la guerre civile espagnole. À la suite du soulèvement militaire contre la Seconde République, plus de cinquante églises et couvents de Madrid furent incendiés — parmi eux, la Collégiale royale de San Isidro, qui abritait encore la Soledad de la Victoria, détruite ce jour-là.