Sem o PAM (Pluggable Authentication Module) é necessária uma configuração ssh mais complicada para autenticar. Você está procurando por isso, na verdade:
# grep Password /etc/ssh/sshd_config
PermitEmptyPasswords no
PasswordAuthentication no
Isso desativará o login com senha. Verifique se você definiu as configurações de chave pública corretamente.