A maneira canônica de fazer isso é com a opção BatchMode
:
ssh -o BatchMode=yes …
De acordo com o manual :
If set to “yes”, passphrase/password querying will be disabled. This option is useful in scripts and other batch jobs where no user is present to supply the password.
Eu esperava que a combinação de PasswordAuthentication=no
e ChallengeResponseAuthentication=no
fosse suficiente. ssh -vv
pode gerar uma pista.