Como comparação, quando jogo online de tiro em primeira pessoa com latência típica (tempo de ping), estou na faixa de 20ms a 150ms. Mesmo números menores são possíveis (embora raros). Qualquer coisa além disso e os jogadores começam a ficar com raiva de você por causar atrasos no registro. Os jogadores em um jogo podem estar espalhados por todo o país, e esses números tendem a ser verdadeiros para a maioria das pessoas. Qualquer coisa acima de 150ms e algo não está certo.
Para uma conexão VPN ao seu local de trabalho, onde você deve estar fisicamente perto o suficiente para visitar o escritório pessoalmente, você deve ser capaz de ficar perto do limite inferior desse intervalo. Dito isto, leia atentamente o tracert. Eu trabalho em uma faculdade, e eu recentemente tracei a partir de casa (no campus na época!) Para um servidor do campus a menos de um quarteirão de distância. Eu estava em uma linha de DSL, e o provedor da faculdade é uma linha de fibra da Time Warner. Estamos na zona rural de Nebraska, e os pacotes passavam por Denver e depois para o Texas, antes que as redes dos dois provedores finalmente olhassem e depois passassem por Chicago no caminho de volta para a cidade. Isso é uma viagem e tanto para puxar pacotes de menos de 1/4 de milha de distância. Eu mudei para uma linha de cabo da Time Warner para combinar com o ISP da faculdade, e meu tracert tem muito mais razoável - ele ainda pula para Lincoln, mas é em média de 10ms e muito disso está se movendo através dos meus 6anos sem fio roteador. Então você pode ver se um amigo com um ISP diferente pode obter melhores resultados.
A lentidão em uma direção, mas não na outra, também indica que provavelmente tem a ver com o gateway da sua empresa, especificamente o filtro de conteúdo, se houver um. Isso pode adicionar uma sobrecarga significativa (leia-se: latência) aos pacotes de processamento. É provável que sua equipe de TI tenha ignorado especificamente o filtro de conteúdo para o tráfego da VPN em uma direção, mas não conseguiu (ou talvez não pudesse, sem processar o filtro) ignorar o tráfego na outra direção.