Consegui encontrar uma solução para o meu problema:
quando você se conecta ao servidor por seu endereço IP público, os pacotes de retorno são roteados pela VPN. Você precisa forçar esses pacotes a serem roteados através da interface pública eth0. Estes comandos de rota devem fazer o truque:
ip rule add from x.x.x.x table 128
ip route add table 128 to y.y.y.y/y dev eth0
ip route add table 128 default via z.z.z.z
Onde x.x.x.x é o seu IP público do servidor, y.y.y.y / y deve ser a sub-rede do seu endereço IP público do servidor, eth0 deve ser sua interface Ethernet pública do servidor, e z.z.z.z deve ser o gateway padrão.