Existem vários relatos de que Charles W. Morgan é realmente assombrado. Muitos visitantes relataram ter ouvido ruídos estranhos, como passos e batidas quando não havia ninguém por perto. Outros viram figuras fantasmagóricas no navio, incluindo um homem com uniforme branco de marinheiro e uma mulher com um longo vestido branco. Alguns visitantes sentiram até uma presença estranha no navio, como se estivessem sendo observados.

Uma possível explicação para os avistamentos de fantasmas é que o Charles W. Morgan é o único navio baleeiro de madeira sobrevivente ainda à tona, um fato que pode atrair espíritos do passado. Além disso, o navio esteve envolvido em vários eventos trágicos ao longo de sua história, incluindo um naufrágio que ceifou a vida de vários tripulantes. É possível que estes eventos tenham deixado para trás uma energia persistente no navio que ainda é sentida hoje.

Seja qual for a verdade, não há dúvida de que o Charles W. Morgan tem uma atmosfera misteriosa que o torna um dos destinos assombrados mais populares em Mystic Seaport. Os visitantes são frequentemente atraídos para o navio na esperança de experimentar algo paranormal.