Se o seu vsftpd tiver sido compilado com o suporte tcp_wrappers, você poderá usá-lo se ativar a opção vsftpd configurstion
tcp_wrappers=yes
If enabled, and vsftpd was compiled with tcp_wrappers support, incoming connections will be fed through tcp_wrappers access control. Furthermore, there is a mechanism for per-IP based configuration. If tcp_wrappers sets the VSFTPD_LOAD_CONF environment variable, then the vsftpd session will try and load the vsftpd configuration file specified in this variable.
Você pode então usar o padrão hosts.allow e hosts.deny arquivos.
Você pode verificar se o seu vsftpd foi compilado com suporte a libwrap assim
ldd /usr/sbin/vsftpd | grep wrap
libwrap.so.0 => /lib64/libwrap.so.0 (0x00002ae164bb6000)