C’est sur le site de l’ancienne collégiale que fut érigé un prieuré au XIIème siècle sous l’abbatiat de Boson 4ème abbé du Bec. A la suite de cette installation monastique, des travaux furent réalisés dans l’église. Il est vraisemblable d’admettre l’existence d’un ou plusieurs bâtiments conventuels, les différentes fouilles archéologiques ayant permis de le confirmer ; notamment la découverte d’un bâtiment perpendiculaire à l’église et situé dans le prolongement du croisillon nord du transept. A l’origine, l’église et le prieuré ne formaient qu’un seul édifice, par la suite, une chapelle prieurale fut édifiée sur les bases du chœur de l’église primitive. Il est difficile de déterminer les raisons de la séparation du sanctuaire monastique de l’église paroissiale. On pense que c’est à cette époque que la paroisse de St Philbert est passée dans la dépendance de l’abbaye de Saint Ouen de Rouen. Ceci est peut être la cause de la rupture avec le prieuré qui dépendait d’une autre abbaye. Durant les XIIIème et XIVème siècles, le prieuré s’attacha à acquérir de nouveaux biens de façon à parfaire son indépendance pour parer aux éventuels événements militaires de la fin du moyen âge.

A cet effet, il nous paraît utile de relater en quelques lignes la tentative de prise en force du prieuré par les huguenots lors des guerres de religion qui sévirent au XVIème siècle. En 1562, Nicolas du Bosc, étant alors prieur du lieu, les huguenots, sous la conduite d’un certain d’Aneaux, firent irruption dans la vallée de la Risle. Ils pillèrent et mirent à sac l’église de Montfort, puis, poursuivant leur besogne, ils se rendirent à Saint Philbert. Dès l’aube du 4 juillet, d’Aneaux marche sur le prieuré, décidé d’en découdre. Accompagné d’une forte troupe et de plusieurs pièces d’artillerie, il pris Nicolas du Bosc au dépourvu, le prieur s’empressa alors en hâte d’armer ses domestiques et de se retrancher au sommet de l’église attenante au prieuré. Dès son approche, le capitaine huguenot est mis hors de combat par un coup adroit du prieur, ce qui eut pour effet d’intimider les soldats. Les combats firent rage et alors que l’enceinte du prieuré tomba aux mains de l’ennemi, le prieur et ses compagnons firent feu du haut réussissant à semer le trouble parmi la troupe, les déroutant par la même occasion…

C’est vers cette époque(XVIème) que le prieuré va perdre de l’importance. En effet, les prieurs ne sont plus nommés en fonction de leur qualité religieuse et de gestionnaire, mais en fonction de leur rang religieux, de leur nom, de leurs relations et de leur puissance. C’est ainsi que de nombreux évêques vont être prieurs de Saint Philbert sans jamais y résider et considérant l’établissement comme une simple source de revenus. L’intérêt du prieuré ne compte plus et il s’agit pour eux d’augmenter leurs richesses personnelles en vendant les biens du prieuré… En 1789, le prieuré de St Philbert ne possède plus qu’une centaine d’hectares, la ferme des granges et un moulin. Nous assistons alors au déclin de l’établissement….. Subsistent actuellement : le logis à pans de bois avec escaliers extérieurs est du XVIIème, un four à pain doublé d’un colombier du XVIIème également et une chapelle du XVème à usage de cellier.