Door de jaren heen begonnen verhalen over de verlaten stad de ronde te doen, en het werd bekend als "Spookstad" of "Avilla Spookstad". Mensen die de stad bezochten, meldden dat ze vreemde lichten hadden gezien en spookachtig gefluister hoorden. Sommigen beweerden zelfs verschijningen van de overleden kolonisten door de straten te hebben zien dwalen. De stad kreeg de reputatie dat het er spookte, en veel mensen vermeden het uit angst de geesten van de doden tegen te komen.
Naarmate de tijd verstreek, begon de stad langzaam in verval te raken en raakten de gebouwen in verval. De legende van de spookstad Avilla bleef echter bestaan en het werd een populaire bestemming voor geestenjagers en paranormale enthousiastelingen. De afgelopen jaren zijn er pogingen gedaan om de geschiedenis van de stad te behouden en een aantal gebouwen te restaureren. Ondanks deze inspanningen blijft de stad een mysterieuze en griezelige plek, en de legende van de geesten van Avilla blijft tot de verbeelding spreken van degenen die erheen durven te gaan.