Desativar o uso de dbfile significa que fail2ban
perde o rastro de sua posição de leitura em cada arquivo ao reiniciar e, portanto, lê todo o arquivo levando ao comportamento que você observou.
Adicionando tail
após os nomes dos arquivos nas instruções logpath
dirão fail2ban
para começar a ler do final do arquivo, em vez de começar do início. Isso deve (eu acho) dar o comportamento que você quer (ou perto o suficiente). Veja docs para mais detalhes. Seção relevante é ...
Optional space separated option 'tail' can be added to the end of the path to cause the log file to be read from the end, else default 'head' option reads file from the beginning
No entanto, eu concordaria com a implicação do comentário de Michael Hampton - a maneira correta de lidar com isso é restabelecer o uso de dbfile
e usar a funcionalidade unban.