Se não for um sistema público / multiusuário, limite severamente o acesso por meio do firewall. Padrão para DROP e permitir apenas IPs específicos ou sub-redes de acesso ao sistema. Se você precisa ficar público, o fail2ban é a ideia certa.
msanford é spot quando se trata da recomendação de autenticação. Para a melhor segurança, você deseja o menor acesso possível para atender aos requisitos. Se o acesso não for justificado, não deve ser permitido.