Assumindo um servidor * nix (que seria uma boa informação), modifique o /etc/ssh/sshd_config , configurando PasswordAuthentication para no .
Eu criei uma combinação de chave pub / pri com putty. Em putty eu posso definir onde a chave privada é, e faça o login dessa maneira. MAS se eu não definir minha chave pri, o servidor ainda pedirá minha senha e me permitirá entrar. Como evito isso?