As sugestões nas outras respostas para se proteger mais quando usar o SSH são muito sensatas.
Mas, especificamente para a sua pergunta, é improvável que os ataques de força bruta de um único usuário sejam efetivos, exceto contra combinações comuns de nome de usuário / senha ou palavras do dicionário. Uma força aleatória alfanumérica de 9 letras de senha levará cerca de 6 milhões de anos para ser adivinhada.
No entanto, também é possível atacar com um botnet grande e coordenado que permite minimizar o impacto de um atraso de 2 segundos do servidor para cada usuário. Um milhão de bots (obviamente não exatamente provável) reduziriam seu tempo de cracking para 6.4 anos mais assustadores