Você está incorreto ao supor que os dados do seu PC de mesa para o seu servidor precisam transpor a rede para o roteador da extremidade remota e voltar, isso não funciona dessa maneira. O roteador DD-WRT está agindo como um switch (não um hub), assumindo uma interação simples de host para host, a conexão entre seu PC desktop e servidor não deixará o roteador DD-WRT (switch), exceto para as portas que estão conectadas para cada dispositivo.
O que você tem aqui é um grande domínio de broadcast, os pacotes de broadcast transporão toda a rede, não o host normal para as comunicações de host (endereço IP / MAC para endereço IP / MAC).
Se a velocidade da sua conexão é lenta, e o DD-WRT está fazendo o trabalho de lidar com as funções do switch, a causa do seu atraso / lentidão está em outro lugar.
Se, por algum motivo, o dispositivo DD-WRT estiver atuando como um hub, não como um comutador, esse pode ser o problema ... mas, a menos que seu dispositivo DD-WRT seja EXTREMAMENTE antigo, esse não é o caso.
E a configuração que você está perguntando como configurar isso com duas sub-redes, dois domínios de broadcast ou duas redes, nesse caso as referências são basicamente as mesmas. Mas duvido que esta seja a resposta para o seu problema.