Acho que o programa que você está procurando é fail2ban . Para alterar o número de tentativas antes do bloqueio, você precisaria editar /etc/fail2ban/jail.conf e alterar as 'tentativas máximas' do ssh - você pode obter mais informações sobre a configuração do fail2ban aqui no site do fail2ban