Isso é chato e não consegui encontrar uma solução simples. Eu acho que o formato xferlog é para compatibilidade com o wu_ftp.
De acordo com o wiki do fail2ban , é isso que você precisa fazer:
Configure o VSFTP para "dual_log_enable = YES" e tenha o fail2ban watch /var/log/vsftpd.log em seu lugar. Este arquivo de log mostra o endereço IP de entrada em vez do nome DNS.
O que me deixa irritado ainda é a latência de procurar o ponteiro inverso, que depende do tempo limite da pesquisa de DNS. Se a transferência de vários milhares de arquivos e você não tiver nenhum ponteiro reverso, ou nenhum servidor DNS definido para o bloco in-addr, cada transferência aguardará o tempo limite do DNS?