O Castelo de Chirk tem a reputação de ser um dos castelos mais assombrados do País de Gales. Um dos fantasmas mais famosos associados ao castelo é o fantasma de Lord Myddelton, também conhecido como Barão Negro. Diz-se que ele assombra a Sala Vermelha do castelo, que supostamente é palco de gritos terríveis que foram ouvidos ecoando pelo castelo. Outro fantasma associado ao castelo é o da Dama Branca, que se acredita ser o espírito de Lady Eleanora Butler. Diz-se que ela assombra a Sala Verde do castelo e é frequentemente vista vagando pelos corredores, gritando de angústia.