No período de transição para a Idade Média, a antiga cidade de Aquae Flaviae, – cujo nome evoluiu para Flavias, Chavias e finalmente Chaves – perdeu a vitalidade urbana e a centralidade política e militar entretanto partilhada com outros castelos da região.
Após o abandono do complexo, as pedras que compunham a elevação das paredes são reaproveitadas durante a Alta Idade Média, como o comprovam os materiais presentes na colmatação das valas de violação. Após um longo período de abandono deste local, em que se vão formando, paulatinamente, camadas de sedimentos ao sabor das cheias do rio Tâmega e da sedimentação natural. Os vestígios medievais começam a surgir sobre estas camadas, demonstrando o esforço de repovoamento da região. Um conjunto de moedas castelhanas dos reinados de Fernando III e Afonso X (1252/84), ainda com as marcas de uma bolsa em tecido impressas nas concreções, talvez perdido ou escondido por um mercador, testemunham as relações comerciais que sempre existiram entre os reinos vizinhos.