Se o seu serviço SSH permitir autenticação baseada em senha, o seu servidor SSH conectado à Internet será martelado dia e noite por bot-nets, tentando adivinhar nomes de usuário e senhas. O botnet não precisa de informações, ele pode apenas tentar nomes populares e senhas populares. Há um monte de gente chamado john com uma senha de qwerty123. Além de qualquer outra coisa, isso obstrui seus registros.
Se o seu serviço SSH permitir somente a autenticação de chave pública, um invasor precisará de uma cópia de uma chave privada correspondente a uma chave pública armazenada no servidor. Eles não podem apenas fazer ataques aleatórios, eles precisam ter conhecimento prévio de seus usuários e precisam roubar uma chave privada do PC de um usuário autorizado do seu servidor SSH.
O fato de que chaves privadas são frequentemente protegidas por uma frase-senha longa é de significado secundário.
Atualização:
Como os comentários apontam, e como eu experimentei, mover seu serviço SSH da porta 22 para uma porta numerada alta faz uma diferença dramática no número de tentativas de login não autorizadas que aparecem em seus registros. Vale a pena fazê-lo, mas considero-o como uma forma de segurança pela obscuridade (uma falsa sensação de segurança) - mais cedo ou mais tarde, os bot-nets irão implementar varreduras de portas furtivas lentas ou você será deliberadamente visado. Melhor estar preparado.
Sempre uso uma frase-senha longa para proteger minha chave privada. Acho que isso é de particular importância em dispositivos móveis que podem ser perdidos ou roubados com mais facilidade.
Além disso, link