Não sei como seu provedor específico está configurado para funcionar, mas a conexão VPN normalmente é configurada para rotear todo o tráfego pela VPN.
Verifique se o seu modem ISP é o gateway padrão.
$ ip route
default via 192.168.0.1 dev wlo1 proto static metric 600
onde 192.168.0.1 é o meu IP do modem neste caso. A conexão VPN (tun0) também deve estar nessa tabela se você se conectou com sucesso.
Exclua o gateway padrão e, se isso corrigir o problema de IP (ou se você não conseguir se conectar de forma alguma), isso significa que seu tráfego estava sendo roteado por meio de seu ISP.
$ sudo ip route del default via 192.168.0.1
Você pode adicioná-lo novamente com
$ sudo ip route add default via 192.168.0.1