Pode ser um par de coisas:
1) Se você está tentando fazer o login usando uma senha, você precisará adicionar:
PasswordAuthentication yes
no arquivo de configuração. (Deve usar apenas este método para configurar as chaves ssh inicialmente)
2) Você não configurou corretamente suas chaves SSH.
3) A porta ssh está sendo bloqueada pelo firewall.