Você deve verificar se você tem (sshd_config):
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile %h/.ssh/authorized_keys
UsePAM yes <-- That one is usually the last line of the sshd_config
Em seguida, sua chave pública é adicionada a authorized_keys no seu ~/.ssh/
.
O último ( UsePAM yes
) é muito importante, pois se for desabilitado, ele forçará você a autenticar com sua conta unix. O PAM está aqui para dizer que a autenticação da chave privada é suficiente para efetuar login.
Eventualmente, se isso ainda não resolver, talvez seja necessário verificar a configuração do PAM.