Il complesso, destinato ai Frati Minori Osservanti, fu edificato nel 1474 da Eligio II della Marra, principe di Stigliano e conte di Aliano, ampliando una precedente Cappella del XII secolo. E una delle leggende che circondano le origini del luogo vuole che la costruzione sia nata come ringraziamento di Eligio per il sostegno e il coraggio che la Madonna gli avrebbe infuso per affrontare e uccidere il drago che infestava le zone circostanti.[2]
A un’epoca precedente, invece, e forse al Duecento, si ritiene risalga l’antica statua lignea della Madonna di Orsoleo che ancora oggi viene venerata e si festeggia ogni anno l’8 settembre.[3] Della chiesa che la ospita, annessa al complesso e riccamente decorata, è particolarmente degno di nota il coro ligneo dietro l’altare maggiore, che fra le figure scolpite presenta anche una Madonna col Bambino seduta tra rami di un albero e con ai piedi un orso e un leone.[4]
Varie aggiunte fatte negli anni migliorarono la struttura rendendola sempre più ricca. Tanto che il complesso, al quale non mancarono mai mezzi anche grazie a generose donazioni, era corredato a suo tempo da una biblioteca, una farmacia, un mulino, un forno, una nevera (una ghiacciaia), un frantoio e due cisterne. Gli ambienti furono inoltre arricchiti da un ciclo di affreschi del pittore lucano Giovanni Todisco di Abriola raffiguranti episodi della vita dei santi e di Cristo, come l’Adorazione dei Magi dove è riportata la firma del pittore, oltre a scene del Trionfo della Morte e della Fede.
La vicina Torre Molfese, posta lungo la strada che conduce al monastero, si ritiene possa essere stata in origine una torre d’avvistamento a protezione dei viandanti diretti al convento.[5]
La soppressione degli ordini monastici del 1861 provocò il definitivo declino e un progressivo abbandono di tutto il complesso.