Chirk Castle ha la reputazione di uno dei castelli più infestati del Galles. Uno dei fantasmi più famosi associati al castello è il fantasma di Lord Myddelton, noto anche come il Barone Nero. Si dice che infesti la Sala Rossa del castello, che secondo quanto riferito è la scena di urla terrificanti che sono state sentite echeggiare attraverso il castello. Un altro fantasma associato al castello è quello della Dama Bianca, che si crede sia lo spirito di Lady Eleanora Butler. Si dice che infesti la Sala Verde del castello e venga spesso vista vagare per i corridoi, gridando di angoscia.