O castelo no alto da colina é um excelente miradouro para a cidade. Percorrer as ruas ingremes na parte histórica é descobrir uma cidade escondida, com a população envelhecida e com um património muito variado. Desde casas apalaçadas aos portados quinhentistas. O frio e a robustez do granito marcam toda esta zona da cidade.
É um enigma porque os Templários deram o nome de Castelo Branco à cidade. A designação anterior era de Moncarche ou Cardosa, como refere Alexandre Herculano.
Não é pelo que resta do castelo, construído pelos Templários, que conseguimos descobrir.
São ruínas de parte da muralha, por onde se pode caminhar, e de duas torres do castelo. Uma delas tem uma janela para a cidade e foi restaurada há algumas décadas.
O castelo remonta ao século XII e foi sucessivamente alterado. Teve um Paço, mas tudo se desmoronou. Devido ao abandono e ao contributo dos populares. 
Na verdade, até do município, que aqui vieram buscar pedras para reconstruirem as casas logo a seguir à devastação das Invasões Francesas.
Melhor preservada encontra-se a capela no interior do castelo. No testemunho de Graça Costa, a capela “é muito bonita, tem santinhos lindos, o altar mor tem talha dourada e está aberta para as missas nos primeiros sábados de cada mês. Às 10h.”
Graça Costa vive no centro histórico e também partilha a opinião de que vale a pena subir as muitas escadas para ir ao castelo, nem que seja só pela vista. “Linda, vê-se tudo. O Jardim do Paço, tem o outro jardim mais abaixo…No Jardim do Paço há estátuas lindas.”
O Jardim do Paço é um dos postais ilustrados da cidade, com o seu estilo barroco, e as dezenas de estátuas, nomeadamente dos reis de Portugal.
Não muito longe está a Sé Catedral. O exterior é mais sóbrio, pouco ornamentado. 
Sobressai a fachada e o frio da pedra. O interior é mais acolhedor, com pinturas, talha dourada e como é uma “igreja salão” parece muito mais ampla.
A partir da Sé podemos seguir a pé até à Praça Velha, passamos por baixo do arco que dá nome à casa apalaçada e entramos numa cidade que preserva profundas influências da arquitetura dos últimos séculos
Junto à Casa do Arco estaria uma das sete portas de acesso ao interior das segundas muralhas, construída na Idade Média. As ruas são estreitas, algumas serpenteiam o casario, outras são rampas a direito, ingremes, até ao castelo. O que no passado, em tempos de prosperidade, foi a expansão urbana, hoje as portas estão fechadas e as ruas despovoadas. “Aqui em cima há meia dúzia de pessoas. A maior parte não quer vir viver para aqui. Não há estacionamento.”
Pode-se ir ao castelo de carro, mas, para quem pode, é muito mais interessante caminhar pelo meio das ruas e descobrir também os chamados Portados Quinhentistas. 
As decorações, feitas em relevo, nas portas ou nas janelas indicam a profissão ou o estatuto social que quem lá vivia. 
Chamam ao estilo arquitetónico Manuelino Pobre ou Popular.
Ao percorrer a zona histórica de Castelo Branco vai encontrar outro património que vale a pena uma visita. É o caso do Museu Cargaleiro. Está numa das ruas estreitas que sobe até ao castelo. 
Próximo da Casa do Arco e do Museu Cargaleiro, no edificio da Domus Municipalis, encontra o Centro de Interpretação do Bordado de Castelo Branco que também merce ser visitado.
Castelo e portados quinhentistas em Castelo Branco faz parte do programa da Antena1 Vou Ali e Já Venho e a emissão deste episódio pode ouvir aqui.
