Existe um tópico relacionado aqui e uma possível solução aqui .
Basicamente isso acontece porque a tabela "vizinho" da interface é preenchida quando muitos endereços diferentes se conectam ao seu servidor em um intervalo curto. Aumentar o tamanho da tabela e usar uma coleta de lixo mais agressiva para seu conteúdo resolve esse problema.