Você pode usar chaves autorizadas. Ativá-lo em sshd_config
#AuthorizedKeysFile %h/.ssh/authorized_keys
então: se você já tiver o seu rsa.pub, no caso:
alcance a casa do seu youser .ssh
cd ~/.ssh
gere seu par de chaves rsa
ssh-keygen -t rsa
acrescente o seu id_rsa.pub ao authorized_keys do usuário remoto e faça o login