Sim. Configure o servidor vsftp para escutar apenas em 127.0.0.1: isso pode ser feito no arquivo vsftp.conf:
listen_address=127.0.0.1
Para usar este parâmetro, o servidor precisa estar no modo independente:
listen=yes
Se você quiser usar o IPv6, use estas entradas:
listen_ipv6=yes
listen_address6=::1
Este é o mesmo que o primeiro, mas usa IPv6.
Você quase certamente terá que reiniciar para que isso funcione.