Isso é indicativo de uma conexão de rede ruim. Se apenas alguns usuários tiverem esse problema, um bom próximo passo é identificar como esses usuários se conectam (com fio, banda larga móvel, wifi, etc.) e onde estão trabalhando (em casa, em um escritório, em público).
Se isso estiver acontecendo com todos os seus usuários, verifique as configurações do adaptador do servidor e verifique se o servidor não está vendo a perda de pacotes.
É provável que alguns dos seus usuários estejam se conectando ao servidor usando um sinal sem fio não confiável.