Parece que, se você não tiver uma chave pública, terá esse comportamento.
Note que ele pede uma senha, mas se você pressionar, tudo bem. (se você digitar uma senha incorreta, não está tudo bem)
Assim que copiei a chave pública correspondente para o servidor, não me pediram mais a senha