Alguns roteadores têm a capacidade de se transformar em switches e, portanto, não precisam ter o DHCP ativado e todas as máquinas podem permanecer no mesmo intervalo de IP. Isso eliminaria seu problema.
Mas, para responder à sua pergunta, o Roteador A e o Roteador B têm uma tabela contendo todas as máquinas e as melhores rotas para acessar um computador anexado a ela. Para o seu computador encontrar uma máquina em seu trabalho, ele verifica com um roteador e depois com o outro. Há uma boa chance de que um roteador não saiba sobre as máquinas no outro roteador. É por isso que ambos os roteadores são listados como servidores DNS.
Não é uma configuração errada, mas não é ideal. Ele permite a segregação de máquinas. Por exemplo, o departamento de contabilidade se conecta ao roteador A, enquanto as vendas se conectam ao roteador B.