How can I use the internet as if I'm in country B while I'm in country
A?
[...]
I know how to implement this kind of solution with a VPN server behind
the router. But I would like to find a solution which relies only on
the router in country B (no computer/server there).
Isso pode ser feito, mas depende dos gateways em ambos os escritórios. A maneira mais rápida de fazer isso seria reescrever as regras nos gateways. Do gateway do país A, o tráfego pode ser encaminhado para o firewall / gateway do país B. O país B pode receber todo o tráfego do roteador do país A e depois reescrever a solicitação com seu próprio IP como destino, mantendo uma sessão com o roteador do país A. Basicamente, o roteador do país A é essencialmente uma espécie de proxy transparente.
Você precisará de um acesso árduo às regras de firewall e roteamento em ambos os firewalls e provavelmente não conseguirá fazer isso se tiver apenas um equipamento SMB. Você provavelmente vai querer usar algum equipamento baseado em * nix para ter acesso ao iptables ou pf.
Quanto às especificidades de como fazer isso, isso estaria além do escopo deste Q / A. Ao projetar a solução, você precisará voltar sempre com perguntas específicas muito específicas para cada componente de sua arquitetura.