Castelo Novo começou por pertencer aos extensos territórios doados pelos monarcas portugueses à Ordem dos Templários, depois Ordem de Cristo, para, em terras da Beira promoverem e assegurarem a posse dos domínios conquistados aos muçulmanos no séc. XIII. Com D. Manuel I, já na centúria de Quinhentos, recebe foral, encontrando-se bem testemunhada a intervenção deste rei no património arquitetónico da antiga vila. A estrutura de ocupação do espaço é assim caracteristicamente medieval, sendo significativas as intervenções do período Manuelino (séc. XVI) e Barroco (séc. XVIII). Constituem disto exemplo, o invulgar conjunto arquitetónico do Largo do Pelourinho: Casa da Câmara e Cadeia e Pelourinho, da época Manuelina; e Chafariz D. João V, do período Barroco.

O Castelo, implantado a 650 m de altitude, constitui um ponto evidente de organização do povoado. Pela encosta da Serra da Gardunha estendeu-se a povoação, desprovida de cerca mas ao abrigo da estrutura fortificada dos Templários.
A antiga vila surge assim inscrita num perímetro de configuração circular, evoluindo a mancha construída para Sul, Este e Oeste. A estrutura urbanística oferece um aspeto labiríntico. A irregularidade dos quarteirões, de dimensões e formas variáveis, as ruas de horizontes limitados, descrevendo traçados sinuosos, as travessas a atalhar caminhos, as escadas públicas a vencer desníveis e os inúmeros recantos e desacertos criados pelo difícil alinhamento das fachadas, são características comuns a outros espaços urbanísticos medievais.

No espaço construído de Castelo Novo dominam, largamente, as edificações destinadas à habitação. A casa tradicional, de granito e sem reboco, apresenta planta retangular com dois pisos, com o térreo destinado à loja e o superior à habitação. O acesso faz-se pelo exterior, através de escadas que terminam em patamar simples ou balcão lajeado.
Exceção nesta paisagem urbana constituem os edifícios de natureza pública e religiosa, bem como a habitação de proprietários mais abastados, distinguindo-se quer pelos materiais utilizados quer pela conceção arquitetónica e investimento decorativo. O Largo da Bica conserva alguns destes exemplos, como as Casas Falcão, Correia Sampaio e D. Luís J. Correia, edificadas, respetivamente, no séc. XVII, XVIII e XIX/XX. Outros testemunhos se encontram pela antiga vila de Castelo Novo, como a Casa da Cerca, presumivelmente do séc. XVI, a Casa na Rua de Nossa Sra. das Graças, do séc. XVII, e o Solar da Família Gamboa, este já da centúria de setecentos. No panorama da arquitetura religiosa salientam-se, naturalmente, a Capela de Santo António, a Igreja da Misericórdia e a Igreja Matriz, com datas de construção atribuídas, respetivamente, aos séculos XVI, XVII e XVIII. Excluindo outros edifícios mais evidentes, como o Castelo ou a Casa da Câmara e Cadeia, sobressaem ainda os chafarizes, um deles dando inclusivamente o nome a um largo.