Suponho que você esteja usando roteadores domésticos com NAT, que é o caso mais comum. Isso significa que, para o mundo externo, todos os computadores na LAN (incluindo a impressora) compartilham o endereço IP do roteador.
Vou ligar para a rede sem a impressora A e a outra B
Se as duas redes realmente não estiverem conectadas por outros meios, a fim de expor o roteador de um para outro, você precisará expô-lo à Internet. No contexto TCP / IP, isso significa mais uma porta aberta (o que seu protocolo de impressão está usando) em um endereço IP público (aquele do roteador B). Obviamente, esse é um risco de segurança em potencial, portanto, o mínimo que você precisa fazer é configurar o firewall no roteador B para limitar o acesso a essa porta para um determinado endereço IP: o do roteador A.
Em relação à exposição, você pode configurar o encaminhamento de porta no NAT para que os usuários da rede A se conectem diretamente à impressora usando o endereço IP público do roteador B ou, se você tiver essa opção, configurando o roteador B como um servidor de impressão, o que poderia ajudar com segurança adicional.
Esta é provavelmente a solução mais simples. Outras soluções, provavelmente mais seguras, incluem o uso de encapsulamento SSH (em vez do encaminhamento de porta) ou uma VPN para conectar todas as redes a ele.
Note que "bloquear a internet fluindo" é uma questão diferente, que o IIUC pode ser obtido configurando o firewall no roteador A para falar apenas com o roteador B.