Si ipotizza che il castello di Sizzano sia sorto intorno alla metà del XII secolo, in quanto un documento del 1152, stilato da Federico Barbarossa, conferma al conte Guido di Biandrate la giurisdizione sulla terra di Sizzano, oltre che su altri territori della zona.

Non siamo a conoscenza di come si presentasse la fortificazione in epoca medievale; di certo sappiamo che al suo interno sorgeva la pieve di San Vittore. Dalla visione delle mappe catastali “Teresiana” (XVIII secolo) e “Rabbini” (XIX secolo) possiamo capire come fosse strutturata l’intera area del castello fino alle demolizioni avvenute tra il 1866 e il 1867 di buona parte degli edifici e del torrione d’accesso del XV secolo.
Il castello aveva una struttura ad anello irregolare, con unico accesso a occidente, circondata da un fossato pieno d’acqua; la chiesa occupava il centro del castello, mentre gli edifici abitativi erano disposti a raggiera.

La zona demolita è ora utilizzata come sagrato della parrocchiale, oltre che come piazza principale del paese. Dell’antico castello rimane un semicerchio di case, che un tempo presentava un unico modello abitativo ricorrente: ogni abitazione era composta da un vano al pianoterra – detto “canepa”, adibito a cantina o magazzino – e uno al primo piano, detto “solarium”, cioè la vera e propria abitazione. I due vani erano collegati fra loro, all’esterno, da una scala in legno.

Questo scorcio di vecchio borgo, di dimensioni attuali assai ridotte, ci mostra ancora l’originaria struttura in muratura, formata da ciottoli di fiume disposti a spina di pesce, intervallati da mattoni in corsi orizzontali.
Nella sua intatta conservazione, tramanda fino a noi la suggestiva immagine di un lontano passato.