As redes privadas são ruins exatamente para esse tipo de problema: ambas não podem ser acessadas facilmente de fora da rede e, como o outro computador está sempre fora da rede, não é possível estabelecer uma conexão direta.
Talvez a maneira mais fácil seja configurar o IPv6 em ambos os computadores. Isso dará a ambos os computadores um endereço IP real e, portanto, eles poderão ser acessados uns dos outros.
O outro caminho seria configurar algum encaminhamento de porta no segundo roteador. então você pode conectar do primeiro computador àquela porta do segundo roteador que o encaminha para o segundo computador.
O último caminho envolveria desagradável tunelamento. Nesse caso, você precisa de algum host público acessível para o qual você pode fazer o ssh de ambos os computadores para configurar alguma conexão indireta semelhante ao que seu teamviewer está fazendo.