Nel 1642 venne edificata nelle immediate vicinanze di ponte Romano, una cappella con il titolo di Madonna del Ponte. Uscendo quindi da porta Romana, lasciando sulla sinistra la chiesa del Cassero e superando poi il ponte sul fiume Nera, ci si trovava subito di fronte alla cappella.
L’edificio di culto, costruito a spese dei cittadini ternani, venne nei decenni successivi ampliato, trasformando la cappella in una graziosa chiesetta settecentesca.
Spettante alla Confraternita della Madonna del Ponte, il tempio venne in seguito affidato alle Suore Carmelitane Scalze che dimoravano nell’annesso convento.
La piccola chiesa si poteva ammirare fino al 1944, anno in cui i vili bombardamenti (testimonianze parlano di circa trenta bombe cadute sopra il complesso conventuale) rasero al suolo tutta la zona di Ponte Romano.
