No antigo reino árabe do Algarve, Silves era a cidade mais  importante, a sua capital.  Essa época traçou-lhe um perfil senhorial coroado por um castelo de cor vermelha, que apetece explorar.

Considerado o mais belo monumento militar islâmico de Portugal, este castelo é também o maior do Algarve. As suas torres e muralhas construídas sobre uma colina da Serra de Monchique com o propósito de vigiar e defender o território, hoje são excelentes miradouros sobre estes campos férteis cobertos de laranjeiras em redor do Rio Arade. Foi erguido pelos árabes, provavelmente sobre uma antiga fortificação romana do século IV/V. Ainda rodearam a povoação de mais duas cercas de muralhas, das quais subsistiram apenas alguns troços. No seu interior podemos ver a antiga alcáçova árabe e duas cisternas, uma das quais, segundo dizem, comunica com o rio.

Silves foi conquistada aos mouros em 1189 por D. Sancho I, mas só foram expulsos definitivamente em 1242 no reinado de D. Afonso III. Pensa-se que é dessa época a antiga Mesquita maior, transformada na Sé, um dos templos mais importantes do Algarve, iniciado em estilo gótico e concluído na época barroca. Fica em frente ao castelo e tal como este, foi construída em arenito vermelho, o grés de Silves.