No lado do servidor, edite /etc/ssh/sshd_config
para que você tenha a linha:
PasswordAuthentication no
depois reinicie o servidor:
sudo service restart sshd
Isso removerá a capacidade de autenticação sem uma chave.
No entanto, você sempre terá que se identificar, por isso não é possível remover o prompt de login.
Se você usa ssh username@hostname
para se conectar, você nunca o verá, mas outros o farão se eles se conectarem ao nome do host sem nome de usuário.
Você pode limitar o acesso a apenas seu nome de usuário com uma chave, se adicionar ao acima:
AllowUsers username
Para essa e outras coisas, consulte a página wiki do Ubuntu para SSH .