Die Lage von Ghemme, das Ufer des Flusses Sesia entlang, war seit immer strategisch: sie setzte nämlich die Ebene mit dem Sesia-Tal und mit dem Dörfern am Anderen Ufer des Flusses, zur Gegend um Biella und zu Canavese hin, in Verbindung. Deswegen gab es lange Kämpfe und Streite in verschiedenen historischen Zeiten. Der Schloss-Zufluchtsort von Ghemme (mehr “castrum” als Zufluchtsort, d.h. mehr Schloss als Dauerlager für Hausrat) entstand zur Zeit der Kämpfe zwischen Welfen und Waiblingen, wodurch es im gesamten Gebiet Plünderungen und zerstörende Brände gab. Um es zu erreichen, musste man das Dorf durchqueren, da sich die alte rechteckige Einfriedung im nord-westlichen Teil des Dorfes befindet, zwischen dem Gerinne Mora im Westen und dem großen (Schloss-)Platz im Osten. Es handelt sich um ein altes Schloss, dessen wenigstens an drei Seiten noch heute sichtbare Grenzmauern eine Höhe von 4 Metern über dem Straßenniveau haben; die Straße ist an der Stelle des im 19. Jh. gefüllten Grabens. Der obere Teil der Mauern endete mit eleganten Zinnen aus Backsteinen. Um das Schloss gab es einen Graben mit Wasser, das vom Gerinne Canturina und von dem das Dorf umrandende Graben, der ins Gerinne Mora mündete, herkam. Die Oberfläche beträgt 12.000 qm, und das ist in Piemont das einzige Beispiel einer komplexen Stadtbefestigung, mit einer Straße in der Mitte, von welcher andere Straßen und Nebengassen stammen, die unregelmäßige Häuserblöcke mit einer Reihe von kleinen Höfen bilden. Zu dieser Straße hatte man offenbar durch eine in einem Wachtturm eingebaute Zugbrücke Zugang. An den Nordwest- und Südost-Ecken erhoben sich zwei zylindrische Türmchen, von denen nur die zweite noch zu sehen ist. Die Außenmauern, im unteren Teil böschungsartig, sind noch in gutem Zustand und noch zu sehen. Die Gebäude, mit in Fischgrat gelegenen Kieselsteinen in Abwechslung mit Ziegelsteinen, zeigen den Keller im unteren Stock und die Wohnung im oberen (manchmal mit einem nach außen vorspringenden Kamin); darüber befindet sich ein “Solarium” für die Lagerung von Getreide. Im Schlossinnern kann man noch heute einige außen mit Sims oder Fliesen aus Backstein geschmückte Fenster mit akuter Wölbung bewundern. Am ersten Stock einiger Wohnungen findet man die charakteristischen Kassettendecken. Die wertvollsten Häuser hatten manchmal mit Fresken bemalte Wände; eins der berühmtesten Fresken ist die herrliche, in Musei Civici von Novara aufbewahrte “Kreuzabnahme” (15. Jh.). Heute schaffen das erneuerte Kopfsteinpflaster und die öffentliche Beleuchtung eine eindrucksvolle Atmosphäre, die zur vergangenen Zeit des Lebens im Schloss zurückbringen.