Você precisará editar /etc/ssh/sshd_config
da seguinte forma:
# Both of these are probably already there, but commented
PubkeyAuthentication yes
# The next line makes sure that sshd will look in
# $HOME/.ssh/authorized_keys for public keys
AuthorizedKeysFile %h/.ssh/authorized_keys
Além disso, se você quiser desativar a autenticação por senha em conjunto (o que geralmente é uma boa ideia, se você usar os keypairs), adicione o seguinte:
# Again, this rule is already there, but usually defaults to 'yes'
PasswordAuthentication no
Depois disso, reinicie o ssh emitindo /etc/init.d/sshd restart
e você deve estar bem!
O texto acima supõe que você já criou corretamente o .ssh
dir com as permissões adequadas .
Isso significa que você define chmod 0700
para ~/.ssh
.