Con el paso de los años, comenzaron a circular historias sobre el pueblo abandonado, y pasó a ser conocido como "Ghost Town" o "Avilla Ghost Town". Las personas que visitaron la ciudad informaron haber visto luces extrañas y escuchado susurros fantasmales. Algunos incluso afirmaron haber visto apariciones de los colonos fallecidos deambulando por las calles. La ciudad se ganó la reputación de estar embrujada y mucha gente la evitaba por miedo a encontrarse con los espíritus de los muertos.
Con el paso del tiempo, la ciudad comenzó a deteriorarse lentamente y los edificios cayeron en ruinas. Sin embargo, la leyenda del pueblo fantasma de Avilla persistió y se convirtió en un destino popular para cazadores de fantasmas y entusiastas de lo paranormal. En los últimos años se han hecho esfuerzos para preservar la historia de la ciudad y restaurar algunos de los edificios. A pesar de estos esfuerzos, el pueblo sigue siendo un lugar misterioso y espeluznante, y la leyenda de los fantasmas de Ávilla sigue cautivando la imaginación de quienes se atreven a visitarlo.