Você precisará editar /etc/ssh/sshd_config da seguinte forma:
# Both of these are probably already there, but commented
PubkeyAuthentication yes
# The next line makes sure that sshd will look in
# $HOME/.ssh/authorized_keys for public keys
AuthorizedKeysFile %h/.ssh/authorized_keys
Além disso, se você quiser desativar a autenticação por senha em conjunto (o que geralmente é uma boa ideia, se você usar os keypairs), adicione o seguinte:
# Again, this rule is already there, but usually defaults to 'yes'
PasswordAuthentication no
Depois disso, reinicie o ssh emitindo /etc/init.d/sshd restart e você deve estar bem!
O texto acima supõe que você já criou corretamente o .ssh dir com as permissões adequadas .
Isso significa que você define chmod 0700 para ~/.ssh .