Eu preferiria configurar uma vpn ( openvpn por exemplo) com o servidor na sua máquina e o cliente na máquina do seu amigo. Quando ele quer que você se conecte, ele abre a vpn (nenhum login envolvido em sua máquina) e você abre seu cliente de desktop remoto para IP de sua máquina (pelo menos com openvpn, você pode atribuir um IP "fixo" à sua máquina para que você possa salvá-lo, não precisando olhar para ele toda vez).
Desta forma, você não tem login na sua máquina e você só acessa a máquina dele quando ele abre a VPN. Por outro lado, você pode desligar o servidor quando não quiser que ele se conecte à sua máquina. De qualquer forma, se você não der a ele um usuário em sua máquina (ou um usuário com apenas o acesso que você quer), ele não será capaz de fazer muita coisa lá.
E desta forma, você pode fazê-lo com mais amigos facilmente, se necessário, pois eles só precisam instalar o cliente vpn.