Para responder à sua pergunta, sim, desativar o DHCP no roteador B e conectá-lo ao roteador A fará com que A assuma a carga inteira.
Se esses roteadores são apenas roteadores e não fazem NAT, para conectá-los basta conectar os dois lados dos dois roteadores usando um switch e adicionar rotas estáticas de um roteador ao outro. No entanto, estou supondo que o seu roteador provavelmente está fazendo NAT, então isso não funcionará também.
Sua melhor aposta provavelmente será conectar os dois roteadores no lado da LAN de cada um e, em seguida, forçar uma das redes a ser atribuída estatisticamente (sem DHCP). Você ainda precisará configurar rotas estáticas em cada uma delas para rotear o tráfego entre as duas redes.