A senha é armazenada por endereço nas configurações do RDP. Muito provavelmente, sua máquina tem um endereço diferente na rede local e na internet devido a um NAT entre eles.
O que você precisa fazer é conectar seu cliente à Internet. Inicie a conexão da área de trabalho remota. Digite o endereço. Escolha Opções e marque "Permitir que eu salve credenciais". Em seguida, faça o login como de costume e escolha salvar as credenciais.
Observe que sua senha será salva em texto não criptografado no sistema local, portanto, nunca faça isso em um sistema que não esteja totalmente sob seu controle. Há também um monte de outros problemas de segurança com o RDP, e é por isso que você não deve, se possível, expô-lo à Internet.
Se você realmente precisa de RDP da internet, uma VPN para proteger a conexão é altamente recomendada.