Copie a chave pública para a home page do servidor remoto ~/.ssh/authorized_keys
ou use
ssh-copy-id remotehost
# or with specific key
ssh-copy-id -i ~/.ssh/id_rsa remotehost
que fará a cópia para você.
Se ainda não estiver funcionando, depure a conexão ssh com
ssh -vvv remotehost
Isso mostrará quais chaves e métodos de autenticação são tentados.