Configure um protocolo de roteamento dinâmico em todos os roteadores e configure os servidores (e quaisquer outros hosts) para usar o roteador "principal" como seu DG. O DG deve, então, lidar com o redirecionamento do tráfego para o roteador apropriado com base nas entradas na tabela de roteamento dinâmico.
Não é um salto extra no sentido de que o tráfego destinado a uma das outras redes não será encaminhado através do gateway padrão para essa rede. Se não me engano, o gateway padrão deve emitir um redirecionamento de ICMP para o host, direcionando o host para o gateway preferencial da rede em questão. A única vez que o gateway padrão encaminhará o tráfego será quando ele não tiver uma rota para a rede em questão (uma rede externa). Nesse caso, ele será encaminhado para o gateway padrão.
Meu comentário é baseado na suposição de que todos os roteadores têm uma interface conectada à mesma sub-rede da LAN (como está implícito em sua pergunta).