Eretto dalla famiglia Senarega con funzioni di controllo sull’antica mulattiera che saliva al valico di S. Fermo, il Castello divenne nel 400 proprietà dei Fieschi L’edificio, cui anticamente si accedeva con un ponte levatoio, è composto dal palazzo del XV secolo e dalla torre a sezione quadrata del  XII secolo. Durante la lunga signoria fliscana, l’edificio fu utilizzato con funzioni amministrative ed i sotterranei adibiti a prigione con la cosiddetta “stanza della tortura” dove sono presenti anelli ai muri e una botola a pozzo munito di lame che servivano (si narra) per giustiziare i nemici dei Fieschi, ed in seguito adibiti a cisterne per l’acqua.
Il restauro conservativo, che ha riguardato anche l’ottocentesco Oratorio e alcune vie del borgo, ha permesso di recuperare gli originali elementi architettonici dell’edificio, dalle facciate in calce al tetto in “ciappe”, dal salone con il grosso camino all’antica cucina e alla torre dotata di feritoie, mentre le camere sono state adibite a rifugio per ospitare visitatori ed escursionisti.