Isso porque quando você está usando o ssh para o IP, você não está usando a chave. Experimente
ssh -i "~/.ssh/id_rsa.pub" server_ip
Além disso, verifique se você está usando o IP externo do servidor
curl ipinfo.io/ip
(confira esta pergunta )