O motivo pelo qual você não pode acessar a página de configuração do roteador no roteador B enquanto está conectado ao roteador A é que você está tentando se conectar a partir do lado da WAN. Por motivos de segurança, por padrão, você só deve poder acessar a página de configuração do roteador a partir de sua rede local para que as pessoas não possam tentar configurar seu roteador pela Internet.
Portanto, quando você tentar se conectar ao 192.168.2.2, o roteador não permitirá que você acesse a página de configuração porque a conexão está vindo do lado da WAN. Você pode alterar esse comportamento nas configurações do roteador.
Ao tentar se conectar ao 192.168.3.1, você está tentando se conectar à rede privada do roteador B. Seus roteadores usam NAT , que basicamente funciona como um firewall com sinal e não permitirá conexões do lado da WAN para se conectar à rede em lado da LAN, a menos que a conexão tenha sido estabelecida a partir de uma máquina no lado da LAN. Esta é a razão pela qual você sempre pode se conectar a ambas as páginas de configurações do roteador da rede 192.168.3. *, Você está sempre conectando do lado da LAN.