Με τα χρόνια, άρχισαν να κυκλοφορούν ιστορίες για την εγκαταλελειμμένη πόλη και έγινε γνωστή ως «Πόλη Φάντασμα» ή «Πόλη φάντασμα Άβιλα». Οι άνθρωποι που επισκέφθηκαν την πόλη ανέφεραν ότι είδαν περίεργα φώτα και άκουσαν φανταστικούς ψιθύρους. Κάποιοι μάλιστα ισχυρίστηκαν ότι είδαν εμφανίσεις των νεκρών εποίκων να περιφέρονται στους δρόμους. Η πόλη απέκτησε τη φήμη της στοιχειωμένης και πολλοί άνθρωποι την απέφευγαν από φόβο μήπως συναντήσουν τα πνεύματα των νεκρών.
Καθώς περνούσε ο καιρός, η πόλη άρχισε σιγά-σιγά να παρακμάζει και τα κτίρια έπεσαν σε ερείπια. Ωστόσο, ο θρύλος της πόλης-φάντασμα της Avilla παρέμεινε και έγινε δημοφιλής προορισμός για κυνηγούς φαντασμάτων και λάτρεις των παραφυσικών. Τα τελευταία χρόνια, έχουν γίνει προσπάθειες για τη διατήρηση της ιστορίας της πόλης και την αποκατάσταση ορισμένων από τα κτίρια. Παρά αυτές τις προσπάθειες, η πόλη παραμένει ένα μυστηριώδες και απόκοσμο μέρος και ο θρύλος των φαντασμάτων της Avilla συνεχίζει να αιχμαλωτίζει τη φαντασία όσων τολμούν να το επισκεφτούν.