No meu caso, a causa era que o tamanho mtu da vpn era maior que o caminho para o host, então você pode usar o traceroute para descobrir o mtu mais baixo no caminho para o host.
o comando é:
traceroute <host> --mtu
No meu caso, o MTU inferior era 1280, então eu usei 1200 para fazer o vpn na configuração do roteador.