Las primeras raíces de nuestra Historia nos llevan a 1495 con la llegada de los Padres Mínimos de la Victoria de la Orden de San Francisco de Paula. Con ellos traen una imagen de la Virgen de los Ángeles que en la noche del Viernes Santo procesionan gracias a las limosnas de los fieles. Como consecuencia de la lejanía del monasterio a esta Virgen se la empieza a denominar "la Sola", creciendo su veneración por los fieles año tras año. En las primeras décadas del siglo XVI, ya existe una Congregación de fieles que sacan a Ntra. Sra. en Solemne Procesión el Viernes Santo. Es en la segunda mitad del siglo XVI, tras el traslado de los Mínimos a su nuevo Monasterio en 1540, cuando se redacten los primeros estatutos de la Cofradía, siendo éstos aprobados por el Obispo de Jaén D. Pedro Pacheco el 9 de junio de 1554, denominándose como Cofradía de la Transfixión y Soledad de la Madre de Dios. La Cofradía se instituyó como "Cofradía de disciplina y lumbre", es decir, de ella formaban parte tanto Hermanos de Luz como Hermanos de Sangre. La fundación de la Cofradía en 1554 fue el germen potencial de la aparición del culto y devoción al momento del Entierro de Nuestro Señor Jesucristo, teniendo la primera referencia documental el 30 de marzo de 1580, por D. Fernando de Luna, suscriptor de la autoridad apostólica en nuestra Ciudad.

Es en los siglos XVII y XVIII cuando la Cofradía vive su mayor momento de esplendor, siendo una de las más importantes de la Ciudad, llegando a contar con cinco Escuadras: la de la Santa Cruz, Santo Sepulcro, San Francisco de Paula, San Juan Evangelista y la de Ntra. Sra. de la Soledad llevando la presidencia del cortejo. En 1639 la Cofradía se reorganiza totalmente, siendo su Hermano Mayor D. Francisco de Castro. Posteriormente en 1659 se redactan unos nuevos Estatutos y se reforma el nombre de la Cofradía, pasándose a denominar Cofradía de la Transfixión y Soledad de Nuestra Señora. Es en 1684 cuando una de sus Escuadras, la del Santo Sepulcro, redacta sus primeros Estatutos, dejando patente que está agregada a la Cofradía de la Soledad. Tal será la importancia de la Cofradía durante estos siglos que existe un Hermanamiento con la Hermandad del Nazareno, la más importante de la Semana Mayor junto con la de la Vera+Cruz. Tan significativa era la Cofradía, que la imagen fue realizada por uno de los mejores escultores de la época, Juan Martínez Montañés. Esta imagen era una de las más importantes obras de arte de la Ciudad, no solo por su valor artístico, sino por lo perfectamente adaptada al misterio doloroso de la Soledad que representa. Ya en el siglo XIX, la Guerra de Independencia provocará la desorganización de la Cofradía y de sus Escuadras,

llegándose a separar alguna de ellas. Pero es en 1834, con la desamortización de Mendizábal y la supresión del Convento de la Victoria, cuando la Cofradía sufre su mayor desorganización siendo la Virgen trasladada a la Parroquia de San Bartolomé y donde es abandonada. A pesar de ello la imagen sigue teniendo sus devotos y prueba de ello es que se hicieron sacrificios para tributarle mayor veneración y culto. En 1835 la Madre Correctora Sor María Zocueca de la Muela, en nombre de la Comunidad de Religiosas Mínimas de San Francisco de Paula, la reclama al Obispado con el derecho de propiedad y al objeto de ponerla al culto y veneración de los fieles, con la sola obligación de poder sacarla en el acto de la procesión del Viernes Santo junto con el Santo Entierro.

Desde 1898 hasta 1923 fue Hermano Mayor D. Francisco Barea Arcediano, quien en sus veinticinco años al frente de la Cofradía, le dio un gran impulso, involucrando a los Hermanos, para lograr entre todos unos nuevos estatutos y con ello ensalzar la Cofradía. Ese gran impulso viene dado con la aprobación de los nuevos Estatutos en 1917 y su nueva denominación: Venerable Hermandad de Nuestra Señora de la Victoria, vulgo de la Soledad. Junto al Hermano Mayor, tuvo gran importancia en ese impulso D. Eduardo de Medio García, el cual con su asesoramiento, le confirió el estilo sevillano. También participó y colaboró activamente en ese nuevo impulso la Sra. Dña. Tomasa de Acebas, viuda de Miñón. Con la introducción del estilo sevillano se cambian las túnicas de color negro que se venían usando por otras de color marfil con botonadura de terciopelo negro. Tras la Guerra Civil y la pérdida de la imagen titular, la Hermandad se sumerge en una profunda desorganización, hasta que el 21 de febrero de 1950, a las 20:00 horas, reunida en Cabildo la Cofradía bajo la presidencia del Párroco de San Bartolomé D. Pablo Palomino Martínez, la Junta de Gobierno de la Soledad, acuerda reorganizar la Hermandad tras tres años de trabajo intenso. Todo ello fue posible gracias a Dña. Carmen Mármol Trigo que donó, para su custodia en la Parroquia, la Imagen de Nuestra Señora de la Soledad, obra encargada a Francisco Palma Burgos.

También donó el manto, la corona, el paso procesional con sus ornamentos y las túnicas y las tulipas para los Hermanos Nazarenos. Durante la década de los sesenta y primera parte de los setenta la Hermandad sobrevive a duras penas, hasta que en 1978, un grupo de Cristianos devotos de Ntra. Sra. reorganiza la Cofradía y aprueba sus nuevos Estatutos y nombre, vigentes en la actualidad. Será la segunda mitad de la década de los noventa tiempos de esplendor, auge y renovamiento de la Cofradía, para llegar a nuestros días como una Cofradía afianzada y respetada dentro de la Semana Santa de Andújar.