A maneira canônica de fazer isso é com a opção BatchMode :
ssh -o BatchMode=yes …
De acordo com o manual :
If set to “yes”, passphrase/password querying will be disabled. This option is useful in scripts and other batch jobs where no user is present to supply the password.
Eu esperava que a combinação de PasswordAuthentication=no e ChallengeResponseAuthentication=no fosse suficiente. ssh -vv pode gerar uma pista.