I løpet av årene begynte historiene om den forlatte byen å sirkulere, og den ble kjent som "Ghost Town" eller "Avilla Ghost Town". Folk som besøkte byen rapporterte at de så merkelige lys og hørte spøkelsesaktig hvisking. Noen hevdet til og med å ha sett tilsynekomster av de avdøde nybyggerne som vandret rundt i gatene. Byen fikk et rykte for å være hjemsøkt, og mange mennesker unngikk den i frykt for å møte de dødes ånder.
Ettersom tiden gikk begynte byen sakte å forfalle, og bygningene falt i ruiner. Legenden om spøkelsesbyen Avilla vedvarte imidlertid, og den ble et populært reisemål for spøkelsesjegere og paranormale entusiaster. De siste årene har det vært arbeidet med å bevare byens historie og restaurere noen av bygningene. Til tross for disse anstrengelsene er byen fortsatt et mystisk og skummelt sted, og legenden om spøkelsene i Avilla fortsetter å fengsle fantasien til de som våger å besøke.