Para se conectar a algo que esteja apenas no IPv6, você precisa de todos os dispositivos de rede no caminho de roteamento para suportar o IPv6. Se algo não for compatível com IPv6, às vezes você poderá usar um agente IPv6, que permitirá encapsular o IPv6 por IPv4 até chegar a ele e, então, roteará o IPv6 para o destino.
Se tudo isso estiver no lugar, então sim, você pode simplesmente colocar o endereço IPv6 na caixa de conexão RDP ou seu endereço DNS (se tiver um registro AAAA) como faria com um dispositivo IPv4.