Para informar a ssh que você deseja usar somente a autenticação de chave pública, use a opção de configuração PreferredAuthentications .
Interativamente:
ssh -o PreferredAuthentications=publickey newhost.example.com /bin/true
Ou no arquivo ~/.ssh/config :
# or Host *.example.com, or Host *
Host newhost.example.com
PreferredAuthentications=publickey