fail2ban usa iptables para bloquear (supondo que você esteja usando a ação padrão iptables-multiport "em f2b). iptables é apenas parte do Linux, então não é algo que você precisa instalar.
Por padrões do Ubuntu, se você olhar em /etc/fail2ban/jail.conf , você deve ver algo assim:
[ssh]
enabled = true
port = ssh
filter = sshd
logpath = /var/log/auth.log
maxretry = 6
Portanto, antes de prosseguirmos, o padrão é 6 tentativas com falha antes de bloquear, não 3. Você pode diminuir isso aqui, se desejar. Isso parece responder à sua pergunta.
Mas depois disso, verifique se /etc/services tem a porta certa para o seu servidor SSH. Eu acho que é onde o f2b está procurando números de porta (quando você especifica uma porta para uma cadeia - como está acima). Se você estiver executando vários servidores SSH em portas diferentes ou tiver várias portas abertas para SSH, talvez seja necessário ajustar o que está sendo usado por f2b ou remover completamente a restrição.