Se você tiver um, tente mover todas as portas conectadas à interface LAN em um comutador e conecte o comutador ao roteador. (Isso me ajudou em um cenário semelhante).
Muitos roteadores são pouco potentes - e, embora pareça que as portas ethernet formam um switch, na maioria dos casos elas são, na verdade, portas separadas que são conectadas a um switch e encaminhadas no firmware dos roteadores. O descarregamento para um switch dedicado eliminará a possibilidade de que as comunicações pesadas em sua rede sobrecarreguem as portas Ethernet dos roteadores e diminuam a velocidade das coisas.