Você não pode fazer isso diretamente com o vsftpd. Você pode obter alguma milhagem com pam_access , por exemplo,
edite o /etc/pam.d/vsftpd e adicione a linha
account required pam_access.so
para o início do arquivo, edite /etc/security/access.conf e adicione as linhas
- : privateuser : ALL EXCEPT 192.168.2.0/24
- : publicuser : ALL EXCEPT 192.168.2.0/24 180.150.0.0/16
que eu acho que faz o que você quer.
Você pode achar mais fácil mudar para algo como proftpd que possui um conjunto mais rico de controles de acesso.