La hermandad se constituyó bajo la advocación de «Nostra Dona Sancta Maria dels Folls, Innocents e Desamparats» (Nuestra Señora de los Locos, Inocentes y Desamparados). El objetivo de la hermandad era atender a los enfermos mentales y los niños desamparados, expósitos y abandonados.
Dos años después, en 1409, nombraron patrona de la hermandad a la Virgen como «mare dels dessemparats» allí acogidos, renombrando la advocación como de Virgen de los Desamparados. En 1414 llegaron a la cofradía que tenía el hospital, cuatro jóvenes vestidos de peregrinos y se ofrecieron al hermano cofrade a hacer una imagen de la virgen a cambio de comida y de un lugar donde poder trabajar.
Pasaron cuatro días y como no oían ningún ruido forzaron la puerta donde trabajaban y se encontraron la imagen de la Virgen, pero no encontraron rastro de aquellos cuatro peregrinos.
Esta historia dio origen a la leyenda de que la imagen de la Virgen «la feren els àngels». El 21 de abril de 1885, el papa León XIII concedió una Bula pontificia por la que nombraba patrona de Valencia a la Virgen de los Desamparados. La imagen de la Virgen Peregrina fue realizada en 1966 por el escultor Octavio Vicent, con el fin de que la imagen original no saliese de su camarín para recorrer las calles y los pueblos en peregrinación.
