Tente alterar os tempos limite de conexão TCP e UDP para valores inferiores (a configuração pode ser encontrada aqui ). Tente reduzir pela metade os valores já existentes. Além disso, desative QoS e veja se o problema persiste.
Uma alternativa pode ser usar uma distribuição alternativa do Tomato , como hardc0re do mod.