Uma maneira de fazer isso é especificar -o PasswordAuthentication=No
como parte do seu comando SSH:
ssh -o PasswordAuthentication=no user@server
Isso remove PasswordAuthentication da lista de opções de autenticação que o cliente SSH tem para conversar com o servidor, evitando que você fique no prompt de senha. Observe que isso também permite que outros mecanismos de autenticação diferentes de PubkeyAuthentication funcionem (RHostsRSAAuthentication, etc). Se você quiser usar apenas o PubkeyAuthentication ...
ssh -o PreferredAuthentications=publickey user@server