Você está no caminho certo: a solução ideal provavelmente mudaria o roteador B para o "modo de ponte" e desabilitaria a função do servidor DHCP. Em seguida, a rede sem fio fornecida pelo roteador B seria efetivamente parte do mesmo segmento de rede IP que a rede sem fio e as conexões com fio fornecidas pelo roteador A.
Pode até haver uma maneira de configurar o roteador B para "estender uma rede sem fio" criada pelo roteador A, usando a conexão com fio entre os roteadores como um link de backbone. Se ambos os roteadores tiverem os recursos necessários para isso, isso poderá permitir transições mais perfeitas conforme você passa da faixa sem fio do roteador A para o roteador B ou vice-versa. Ambos os roteadores usariam o mesmo SSID sem fio, mas possivelmente canais de rádio diferentes e não sobrepostos.