Tente fazer a mesma regra de firewall com base na regra de saída e no seu endereço IP. Esta mineração que você deve ter sempre o mesmo endereço IP do servidor vpn e acessar o mesmo endereço IP remoto.
ufw allow out INTERFACE tcp from ADDRESS to ADDRESS
Além disso, você pode fazer regra para permitir que apenas o seu endereço IP possa acessar a vpn