Brûlée en 1450, lors des luttes par Dunois pour libérer la Normandie des Anglais, l'Eglise Notre-Dame est véritablement reconstruite en 1458 sur ses ruines (plan1779), puis agrandie de 1788 à 1790 avec les matériaux provenant de la démolition de l'Eglise Saint Sauveur. Ensuite, deux sacristies sont ajoutées, l'une au sud en 1808, l'autre au nord en 1822. L'église Notre-Dame est alors composée de sa nef, les deux collatéraux et un transept intégrant de part et d'autre les chapelles du Rosaire et de Saint Roch, une précédente chapelle Ducy fondée en 1619 avait été supprimée au moment de l'agrandissement de l'église et une autre chapelle Sainte Marguerite modifiée.

Dans le même temps, le cimetière qui entoure l'église est déplacé puis en 1842, un nouveau Presbytère est reconstruit dans la cour dite de l'aumône.

Mais Vimoutiers est alors en pleine prospérité due au commerce des toiles et l'église est jugée trop petite. Dès 1866, Monsieur L'abbé Jenvrin, aidé de la mairie et la paroisse demande une souscription pour la création d'une nouvelle église. Rassembler les fonds prendra presque 20 ans et l'église Notre-Dame survivra jusqu'en 1897 date à laquelle à l'âge de 439 ans, elle est démolie et vendue par la municipalité pour sa seule valeur de matériau de construction.

Ainsi l'ancienne Eglise Notre-Dame et la nouvelle église Notre-Dame, alors achevée, auront coexisté deux petites années sur la place de Vimoutiers. Florentin Loriot, un poète normand, en composa un très joli témoignage : De deux églises Notre-Dame sur la place de Vimoutiers.

Lors de la démolition, sous un pilier est trouvé un trésor composé de 22 pièces d'or dont 12 aux armes de Charles VI Le Bien Aimé, ou Le Fol et Charles VII Le Victorieux, ou le Bien Servi, père et fils rois de France de 1380 à 1461, et 10 aux armes de Henri VI roi d'Angleterre de 1422 à 1471, ainsi que des sarcophages du XIIIème siècle, leurs occupants en bon état (!) entourés pour certains de quelques objets en cuivre de l'époque Mérovingienne.

De cette église, sont répertoriés un certain nombre d'éléments. Parmi eux :

 - Un retable du XVIème siècle, découvert au fond du choeur derrière un groupe sculpté de 1807, et exposé au musée du Baron Mackau dans l'ancienne Hôtellerie des Moines de Jumièges à Vimoutiers. Listé comme "non protégé aux Monuments historiques", en pierre taillée de dimension 100x230, représentant des épisodes de la vie de la Vierge Marie. Ce retable et l'hôtellerie seront détruits lors des bombardements de Juin 1944.

- Protégé aux Monuments Historiques en 1909 : un retable du XVIème siècle, en pierre taillée de dimension 100x230,  dont la description indique un soubassement supportant six pilastres entre lesquels se développent des niches à coquilles ornées, représentant des épisodes de la vie de la Vierge, à savoir : L'Annonciation, la Visitation, la Nativité, l'Adoration des mages et la Circoncision. Les deux sont-ils un même retable ? 

- Subsistaient aussi, détruits en 1944, 2 chandeliers torchères en bois taillé doré, fin XVII.

D'autres éléments, transportés dans la nouvelle église Notre-Dame, échappèrent aux bombardements. Parmi eux :

- Un aigle-lutrin, de la 1ère moitié du XVIIème,

- Une stalle du XVIIème en chêne taillée, découpé, ajouré et  fermé par un prie-Dieu,

- Deux statues en terre cuite Saint Dominique et Sainte Catherine de Sienne faisant vraisemblablement partie d'un groupe sculpté représentant la donation du Rosaire, situé dans la "chapelle du Rosaire"