O servidor estava caindo no sono. Quando o servidor entrou em modo de espera, provavelmente fechou algumas conexões de rede que impediam que o murmúrio recebesse pacotes dos usuários. O servidor de murmúrios, então, consideraria esse usuário um fantasma e os desconectaria.
Consegui desativar o timer do servidor. E agora o problema se foi.