O FileZilla não precisa saber especificamente sobre qual conexão você deseja se comunicar. Você pode simplesmente usar o IP da VPN do servidor SFTP e não o IP público como o nome do host no FileZilla. Desta forma, o FileZilla se conectará através da VPN sem fazer nada diferente.
Se você tentar usar o nome de domínio do servidor SFTP como nome do host para o FileZilla, talvez seja necessário configurar manualmente as janelas para usar o DNS da VPN. O OpenVPN às vezes tem problemas em fazer isso automaticamente.
Você pode verificar o IP privado do servidor a partir das configurações de rede no servidor, se tiver acesso a ele. Ou, se você não tiver acesso ao servidor, você pode tentar e verificá-lo de um dos clientes da LAN local, observando sua configuração ou apenas fazendo ping no servidor.
Em algumas configurações da LAN, os clientes da conexão VPN não podem acessar os servidores que estão na DMZ. Nessa configuração, sua solicitação não é possível. Nesse caso, você não conseguirá conectar o com seu IP privado quando conectado por VPN. Isso deve ser verificado com um administrador de rede.