Edite /etc/ssh/sshd_config
no servidor para ter:
Match User <username>
PubkeyAuthentication yes
Em seguida, basta adicionar o arquivo de chave .pub
a ~/.ssh/authorized_keys
no servidor com:
cat key.pub >> ~/.ssh/authorized_keys
Certifique-se de reiniciar o SSH depois com sudo service ssh restart