Quantos usuários estão no servidor?
Quais são os papéis que ele hospeda?
Existem compartilhamentos de rede?
A melhor maneira é conectar um monitor de rede e configurar o perfmon no servidor para reunir o máximo de informações possível para diminuir a causa. Isso pode ser hardware.
Até onde sabemos, pode ser um hamster caindo de sua roda.