Figuras. Eu consegui resolver depois de postar aqui. Eu estava lendo o Guia dos Administradores do Sistema Linux-PAM e encontrou pam_succeed_if . Há um exemplo que ilustra a emulação de pam_wheel.
To emulate the behaviour of pam_wheel, except there is no fallback to group 0:
auth required pam_succeed_if.so quiet user ingroup wheel
Inseri isso em /etc/pam.d/vsftpd
na última linha "auth required" e testei-o. Agora você deve ser um usuário do grupo definido para efetuar login no FTP. Eu também estou removendo o sinalizador silencioso como gostaria de ver falhas / sucessos de autenticação nos logs.