O VNC definitivamente seria o caminho a seguir, porque há servidores e clientes disponíveis para todas as plataformas. Você precisará encaminhar uma porta em casa se o seu computador estiver atrás do NAT, mas nada será necessário no lado da conexão. Eu não estou muito familiarizado com as opções do servidor Linux, mas tenho certeza que você pode configurar uma lista negra / whitelist para conexões.