L’església de Santa Maria de Lavit va néixer estretament vinculada al castell de Lavit, del qual era la capella. El castell de Lavit apareix esmentat l’any 956 en la venda d’un alou (terra) feta per Aigone i la seva muller Anlo a Gilmon, dit Ènnyec.
És molt probable que la primitiva església del castell fos consagrada per Guislabert, vescomte i bisbe de Barcelona, entre el 1035 i el 1062. Sigui com sigui, a mitjan segle XI el temple estava en construcció. L’any 1030 Ermengarda, mare del magnat de la frontera Mir Geribert, deixà un conjunt de béns que tenia a Lavit perquè es pogués fer la dedicació de Santa Maria de Lavit.
El castell fou en els seus orígens de la nissaga de Mir Geribert. En morir Mir Geribert el 1060, el castell passà a la seva descendència. Els Santmartí posseïren l’alta jurisdicció del terme fins almenys Guillem V de Santmartí, ja que en el seu testament de 1180 només s’esmenten els béns que té al castell de Lavit. Això sembla indicar que ja no tenia el domini directe del castell. Al mateix temps degué actuar dins el terme una nissaga de castlans. Guillem de la Granada, en el seu testament del 1198, en el qual signà com a marmessor Ramon de Lavit, deixà el castell de Lavit a la seva neboda Saurina. Al començament del segle XIV el castell fou adquirit per Eimeric de Bellvei i poc després, l’any 1365, fou comprat per Joan d’Olzinelles, fill d’un conseller reial. Tot seguit, l’any 1372 el rei va cobrar la jurisdicció del lloc i el castell esdevingué patrimoni reial. Aquesta situació es prolongà per poc temps. L’any 1380, Jaume Desfar, conseller reial, va comprar al rei la jurisdicció. Aquesta família la retingué fins al 1405, quan va vendre el castell a l’orde de l’Hospital. Els Desfar eren cavallers originaris de Manresa. Vivien molt propers als reis i participant en moltes batudes catalanes. Un d’ells fou veguer de Vilafranca el 1310.
Els hospitalers compraren el castell de Lavit amb els diners procedents de la venda de la vila de Sant Celoni. Els Desfar no marxaren del Penedès medieval. El 1406 Tomàs Desfar comprà cases anomenades de Rubio, situades a Sant Marsal, al terme de Castellet i la Gornal. Junt amb el seu fill Joan van comprar la quadra de l’Ortigós (Sant Jaume dels Domenys) a principis del segle XV. El 1420 el cavaller Joan Desfar vivia a Vilafranca. Elionor, filla de Tomàs Desfar i germana de Joan, es casà amb Bernat Barberà, senyor de la casa d’Estalella (Castellví de la Marca).
