Fiz alguns testes e descobri que o atraso aparece apenas nas máquinas Windows (Win7) (PC e laptop). Mac, iphones e ipads funciona com servidor sem atraso. Todos os dispositivos em uma sub-rede (roteador DLink simples). O atraso não está relacionado ao tipo de conexão (laptop conectado via wifi, PC via fio) e aparece independentemente do tipo de navegador. Depois que um PC conectado com o retardamento e inicia o trabalho, o outro conectado com o atraso. Então eu acho que o problema em algum lugar nas configurações de rede do Windows e não relacionadas ao servidor.
UPD: O problema estava no Kaspersky Antivirus. Desativei o filtro da Web e agora tudo funciona sem atrasos.