Edificato in collegamento alla fortezza di Montechiarugolo e del Convento di Santa Maria delle Grazie (ora Santa Fenicola di proprietà privata) sorgeva adiacente ad un rifugio destinato ad un romito (termine derivante dalla deformazione della parola eremita, intesa come religioso; in questo caso si trattava di frate un francescano che viveva solitario in luogo remoto ed isolato dal resto dei suoi confratelli) che, oltre a traghettare i viandanti da una sponda all'altra del torrente Enza, aveva cura del luogo sacro e del tratto di bosco limitrofo. La devozione popolare per l'immagine della Vergine, ivi conservata, ne fece ben presto un luogo di culto ed un centro di pellegrinaggio conosciuto anche in territori al di fuori dei confini del contado.
I primi documenti ufficiali risalgono alla donazione di questo oratorio, datata 2 Maggio 1530, che fece Donna Domitilla Trivulzio, vedova del Conte Francesco Torelli di Montechiarugolo, ai religiosi del convento dei Frati Minori.Probabilmente, con questo lascito, la nobildonna intendeva così porre termine alla lunga contesa per il controllo dell'attraversamento del torrente Enza, che aveva opposto il Papa Leone X al marito ed era culminata nel 1514 con l'incendio di una barca e l'uccisione degli addetti da parte dei Torelli. Pare che il primo impianto dell'Oratorio sia relativo ai primi decenni dell'anno mille e che nel 1530 fosse in totale rovina, tanto da indurre i frati stessi del Convento di Santa Maria della Grazie a supplicare il Pontefice Clemente VII ad utilizzare le elemosine per consentirne la conservazione. In seguito sia l'eremo che la cappella vengono distrutti per cui, nel 1578, Mons. Castelli ordina la posa di una croce in legno sul luogo dell'edificio (croce che oggi compare nella pavimentazione in cotto del pronao). Fu totalmente riedificato dai religiosi del Convento di Montechiarugolo tra la fine del secolo XVII e l'inizio del XVIII, ma nel 1811 fu soppresso, con il Convento, per volere di Napoleone e, insieme alle terre, venduto a privati. Nel 1817  di propriet della famiglia del Capitano Rossini ed, in seguito, al Cavagnari, autore di "La Fata di Montechiarugolo", che lo cita nel suo romanzo. Nell'anno 1843  posseduto dal Giudice Remigio Villa. Dal 1867 appartiene alla famiglia Lalatta Costerbosa che lo trasform in cappella gentilizia, restaurandolo completamente ad opera del Conte Antonio Costerbosa prima e, successivamente, dell'unica figlia Faustina, sposa del Marchese Antonio Lalatta, come compare dalle iscrizioni delle lapidi murate nel pronao.

L'impianto semplice e severo era costituito, in origine, da un pronao e da due corpi voltati a botte su diversi livelli. Recenti interventi di consolidamento hanno modificato la struttura di copertura ma messo in luce pregevoli affreschi seicenteschi, sulla parete absidale interna, raffiguranti l'Annunciazione della Beata Vergine, cui era dedicato il tempio, e le immagini di due Evangelisti dotati alle mani ed ai piedi, di sei dita. L'Oratorio del Romito è collegato direttamente alla soprastante Villa La Vignazza mediante un suggestivo stradello nel bosco di acacie, roverelle e carpini, che conserva, probabilmente, l'antico tracciato dei pellegrini romei. L'Oratorio con l'antico viale d'accesso , a richiesta, aperto ai visitatori. In esso inoltre, in quanto consacrato, è possibile, a richiesta, celebrare matrimoni, battesimi ed altre cerimonie religiose, previo accordo con l'autorità clericale.