Você verificou o dmesg no servidor. Parece que você pode ter um problema de hardware / driver em sua placa de rede interna OU talvez algo como a tabela de controle de conexão ficar muito cheia.
Eu também vi isso onde a rede interna é inundada devido a erros de configuração ou malware em um computador. Se as luzes do interruptor piscarem como uma árvore de Natal insana, isso pode ser um problema seu.
O iptraf é realmente útil para instalar e monitorar cada uma das interfaces. A partir dos sons das coisas, você deve monitorar a interface interna e ver como é a atividade. Isso pode apontar você na direção certa.
Boa sorte.