"Le Clocher de cette paroiffe fur prefque tout ruiné du Canon de Henri IV, pofé à Saint Gervais, lorfqu'il affiegea la Ville l'an 1592." Farin 1738.
"L'église de Sainte Marie la Petite, qu'on avait ainsi appelée pour la distinguer d'avec la Cathédrale, est entre la rue de la Prison et celle des Béguines. On voit encore (en 1870) les restes de cette église dont la construction remonte au 16° siècle, et dans laquelle est actuellement la synagogue des Juifs...".
Dictionnaire des rues et places de Rouen. Nicétas Périaux. 1870.

L'église Sainte Marie la petite fut désaffectée à la Révolution. Après avoir servi d'entrepôt puis d'école, elle devint une synagogue à partir de 1865.

Le 31 mai 1944, elle fut entièrement détruite.

Une synagogue moderne a été construite au même emplacement et inaugurée le 17 décembre 1950.