O Service Pack 2 para Windows Server 2003 adiciona o Scalable Network Pack, que pode sobrecarregar sua pilha de rede se os drivers da NIC não forem totalmente compatíveis com eles. Veja como atualizar seus drivers de NIC e, se isso não resolver o problema, desative o TCP Chimney via Netsh int ip set chimney DISABLED
. Pode haver outras coisas que você precisa analisar em aqui . Lembre-se, isso só se aplica se o Sp2 for uma das atualizações aplicadas e você não listar as atualizações aplicadas.
Agora, você diz que a rede provavelmente não é, mas eu acho que você deveria investigar isso. É muito fácil de testar - desabilitar a chaminé exige uma reinicialização, mas é uma verificação muito fácil.