Parece que você pode usar TCP Wrappers (acabou de testá-lo no meu Ubuntu) e usar hosts.allow e hosts.deny para filtrar o acesso vsftpd.
Adicione o seguinte ao seu arquivo vsftpd.conf :
tcp_wrappers=YES
Reinicie o vsftpd.
Em /etc/hosts.deny , negue todos pelo vsftpd:
vsftpd: ALL
Em seguida, em /etc/hosts.allow , adicione os IPs autorizados:
vsftpd:192.168.0.39 192.168.0.50