Parece que o vsftpd primeiro verifica o nome de usuário em userlist_file e faz o PAM somente se o usuário for permitido (com a configuração acima). Sugiro desativar as opções de userlist_ * e implementar a lista de negações na configuração do PAM.
# put this line into /etc/pam.d/vsftpd as first "auth" check
auth required pam_listfile.so item=user sense=allow file=/etc/vsftpd.allowed_users onerr=fail
Então você deve ver as tentativas de log negadas no auth.log.
Mais informações - pam_listfile.so