I årenes løb begyndte historier om den forladte by at cirkulere, og den blev kendt som "Ghost Town" eller "Avilla Ghost Town". Folk, der besøgte byen, rapporterede, at de så mærkelige lys og hørte spøgelsesagtige hvisken. Nogle hævdede endda at have set tilsynekomster af de afdøde bosættere, der vandrede rundt i gaderne. Byen fik ry for at være hjemsøgt, og mange mennesker undgik den af frygt for at møde de dødes ånder.
Som tiden gik, begyndte byen langsomt at forfalde, og bygningerne faldt i ruiner. Legenden om spøgelsesbyen Avilla bestod dog, og den blev en populær destination for spøgelsesjægere og paranormale entusiaster. I de senere år er der arbejdet på at bevare byens historie og restaurere nogle af bygningerne. På trods af disse anstrengelser forbliver byen et mystisk og uhyggeligt sted, og legenden om Avillas spøgelser fortsætter med at fange fantasien hos dem, der tør besøge.