Collégiale du XIe siècle
Une charte souscrite par Hugues II de Montfort mentionne pour la première fois l’église de Saint-Philbert en 1076. Les Montfort établirent à Saint Philbert une collégiale desservie par huit chanoines séculiers sous le vocable de Saint Pierre. Ils dotèrent la collégiale de terres exploitables et autres bâtisses. Ces fondations de communautés de religieux séculiers, contrairement aux moines, sont le fait de familles aristocratiques installées à proximité. En 1097 Robert 1er de Montfort fait don à l’abbaye du Bec Hellouin de l’édifice culturel et des prébendes canoniales et confirme les possessions des églises de Saint André d’Appeville, Saint Pierre de Montfort et Saint Ouen de Flancourt. A ces biens s’en ajoutent d’autres situés en Angleterre issus de la conquête et sans doute donnés par Hugues III de Montfort : l’église de Saltwood et la chapelle de Hea. Ces libéralités sont sans doute dues au fait que Guillaume de Montfort, 3ème Abbé du Bec (1093/1124) était alors lié de parenté à Robert et Hugues de Montfort.
Naissance du Prieuré
Vers 1112, la collégiale est transformée en prieuré, les chanoines sont remplacés par une communauté monastique régie d’après la règle de St Benoît. Le prieuré s’agrandit et acquiert de nouveaux biens grâce à différents dons. Une fois ces biens acquis, le prieuré va s’attacher à les mettre en valeur. En 1198, l’archevêque de Canterbury confirme au prieuré de St Philbert une rente qu’il reçoit de l’église de Saltwood et de la chapelle de Hea. Durant les XIIIe et XIVe siècles, le Prieuré continue de prospérer. Mais en 1398, la guerre de Cent ans a pour incidence de retirer Saltwood du patrimoine détenu par le prieuré. En 1414, les biens du Bec situés en Angleterre sont confisqués et redonnés aux Anglais. Malgré tout, en 1494 le prieuré tient toujours l’école et le prieur « Jacobin Detin, y enseigne les humanités, la rhétorique et la philosophie »
Durant le XVIe le prieuré perd de l’influence. Les prieurs ne sont plus nommés en fonction de leurs qualités, mais en fonction de leur rang et de leur naissance. De nombreux évêques vont être prieurs de St- Philbert sans jamais y résider, considérant l’établissement comme une source de revenus. Ils s’enrichissent abondamment en vendant les biens du prieuré… En 1789, le prieuré de St Philbert entame un long déclin et ne possède qu’une centaine d’hectares, la ferme des granges et un moulin. Subsistent de nos jours le logis à pans de bois du XVIIe, le four à pain et colombier du XVIIe et la chapelle du XVe.
Episode des Huguenots
L’assaut du Prieuré au XVIe par les Huguenots
Le prieuré se présentait alors comme « une maison à laquelle il n’y a ny muraille, ny fossé, ny défense quelconque, construite et bastie seulement de boys » Après avoir attaqué Montfort le 17 mai 1562, les huguenots s’en prennent à St-Etienne l’Allier puis se rendent au Prieuré de St-Philbert le 14 juillet 1562. Le prieur, Nicolas du Bosc ne dispose pour forces que de trois hommes d’armes dont son frère Martin du Bosc, homme d’arme de la compagnie de M. de Brissac. Les huguenots de Pont-Audemer dirigés par le capitaine Aigneaux de Ste-Marie disposant de forces considérables et de trois pièces d’artillerie décident de s’emparer du Prieuré. A leur approche Nicolas du Bosc distribue les munitions et décide avec son frère Martin de se retrancher dans le haut de la tour de l’église paroissiale.
Après les sommations alors en usage, des escarmouches mettent hors de combat un capitaine et deux soldats protestants par un coup d’arquebuse. Les combats font rage et alors que l’enceinte du prieuré tombe aux mains de l’ennemi, le prieur et ses hommes parviennent à semer le trouble parmi les ennemis, les déroutant par la même occasion. Mis à mal les assaillants, arrivent à forcer la porte de l’église et entreprennent d’accéder au sommet de la tour empruntant l’escalier à vis à moindre bruit. Le prieur survient alors jetant des projectiles importants sur les huguenots qui se précipitent dévalant les marches de l’escalier dans l’effarement et le désordre le plus total. Les huguenots, désemparés, se retirent en incendiant granges et maisons. Quelques jours plus tard, le Duc d’Aumale viendra féliciter Nicolas du Bosc de son exploit.
Architecture
Mur d’enceinte et chapelle prieurale 
Détail fenêtre gothique chapelle prieurale
Nous observons plusieurs périodes de constructions. La plus ancienne du XIe, est attestée par l’abside romane découverte lors des fouilles de 1988 qui révéla que l’église paroissiale et la chapelle prieurale ne formaient qu’un seul édifice avant le XVe.
La seconde période située au XIIe et est confirmée par la découverte d’ouvertures romanes au sein de la nef, datant sans doute de l’époque de l’installation des moines du Bec à St Philbert. A la suite de cette installation des travaux furent réalisés dans l’église.
Il est vraisemblable d’admettre l’existence d’un ou plusieurs bâtiments conventuels, les différentes fouilles ayant permis de confirmer l’existence d’un bâtiment perpendiculaire à l’église et situé dans le prolongement du croisillon nord du transept.
De nouvelles constructions ont été édifiées au XVe en particulier la chapelle prieurale, alors qu’aux XVIIe et XVIIIe ont été édifiés le four à pain, et le logis d’accueil à colombage. A l’origine, l’église et le prieuré formaient un unique édifice. Par la suite, la chapelle prieurale fut édifiée sur les bases du chœur de l’église primitive
Les raisons de la séparation du sanctuaire monastique de l’église paroissiale restent obscures. On suppose que la paroisse de St Philbert est passée dans la dépendance de l’abbaye de Saint Ouen de Rouen. Ceci est peut être la cause de la rupture avec le prieuré qui dépendait d’une autre abbaye.