Seu tráfego está, no mínimo, indo do Japão para a França e vice-versa. Geograficamente, isso é praticamente metade do mundo, duas vezes . Em termos de distância de links da Internet, pode ser mais longe, dependendo de quais links internacionais estão disponíveis no momento.
Se o concentrador de VPN estiver localizado em algum lugar diferente do Japão ou da França, a distância do concentrador de VPN (o host que aceita sua conexão VPN e para a qual a conexão é criptografada devido à VPN) ao host de destino será para adicionar ao atraso.
Quando traceroute reporta 400 ms, isso significa que o tempo roundtrip é de 400 ms. Em outras palavras, de você, para o host em questão, e de volta para você novamente ao longo de um caminho semelhante, se não o mesmo. A própria VPN também pode adicionar uma pequena sobrecarga, mas isso deve ser mínimo com o hardware moderno.
Quando eu tracerou da Suécia para um host aleatório no Japão, recebo tempos de ida e volta de cerca de 275 ms. Para comparação, tenho tempos de ida e volta de cerca de 30 a 35 ms para a França.
Assim, enquanto a ida e volta de 400 ms entre o Japão e a França parece alta, não é imediatamente excessivamente alta . Com base nisso e em uma pequena quantidade de raciocínio dedutivo, eu esperaria que um bom link pudesse dar a você tempos de ida e volta no intervalo de 250 a 300 ms.
Tente o rastreamento para o servidor na França ou pelo menos um servidor localizado o mais próximo possível, sem passar pela VPN, e veja o tempo de ida e volta que você recebe. As chances são de que eles vão ser semelhantes, caso em que, infelizmente, você só terá que viver com os tempos de ida e volta.
Se houver uma grande diferença nos tempos de ida e volta com e sem VPN, considere se seria possível rotear o tráfego SSH (que é criptografado em si) fora da VPN de alguma forma. Nesse caso, verifique também por que a VPN está adicionando muita latência: peça ao administrador para procurar por congestionamento no concentrador de VPN (geralmente evidenciado pelo alto uso da CPU) e examine seu sistema local para ver se há alta utilização da CPU que pode ser atribuído ao tráfego ou software da VPN.