El castell dels castlans es comença a citar documentalment el 1181. El batlle reial autoritzà el castlà Bartomeu de Vilafranca a fer-hi reparacions i defenses (1382). La reina Maria n’autoritzà en un privilegi de Ferran I la reconstrucció (1451), però l’any 1516 les muralles que l’envoltaven estaven derruïdes. El castell ocupava tota l’illa prop de l’església de Santa Maria, on avui hi ha el palau Babau, el carrer d’Escudellers, el del Vall del Castell, la plaça de l’Oli i part de la plaça de Jaume I.
Els edificis envoltaven un pati comú al mig de l’illa. Entre el mur del castell i altres cases de la vila hi havia un vall que l’envoltava. Tenia un pont llevadís situat a l’actual carrer de Sant Pau, amb un primer portal petit per passar després al portal major que era l’entrada al castell.
Algunes dades ens situen cases dels castlans, com la del castlà Bernat de Canyelles al costat del vall del castell, i la de la castlana Elisenda, muller de Jaume Montbrú, filla del castlà Bernat de Vilafranca, i enmig el pati comú del castell (1312).
La casa del castlà Ferrer de Vilafranca limitava també amb el vall del castell en dues parts: amb la casa del castlà Bernat de Canyelles, el pati comú del castell i una torre de pedra rodona que era el fortí del castell (1312).
Violant, vídua del castlà Pere Febrer, l’any 1410 ens deia que el seu alberg estava situat al castell de la vila i tenia al costat l’alberg del castlà Galcerà de Barberà i el vall del castell. També ens comentà que a l’entrada hi havia un arc al mig cobert de rajoles i un llit on jeien els esclaus. Les cases –o albergs– dels castlans es tocaven unes a les altres, tenien un pati comú davant de l’entrada d’aquests albergs i un forn amb una torre que feia les funcions de fortí, probablement l’anomenada torre Dela, origen de Vilafranca, al voltant de la qual es devia construir el castell.
A l’acabament d’una guerra civil que va durar deu anys (1462-1472), hi hagué apropiacions de les cases dels castlans, per tant, del castell, per part de l’autoritat reial castellana, perquè eren rebels a la causa del rei Joan II, i algunes van ser venudes a Arnau Guillem de Cervelló, baró de la Llacuna (Vilademàger), fidel partidari d’aquest rei.
Posteriorment, van ser nobles/cavallers originaris del Penedès i de llinatges dels antics castlans que vivien entre Vilafranca del Penedès i Barcelona els que foren posseïdors del domini de l’antic castell, actualment desaparegut del tot.
