Tudo será um pouco mais lento na VPN, já que a conexão introduz naturalmente vários outros saltos de e para um local remoto. Por exemplo, se você mora em Londres, o servidor VPN está nos EUA e você está se conectando a outro servidor localizado em Londres, os pacotes terão que ir para o exterior e voltar. Dependendo da qualidade da conexão, o atraso pode ser bastante perceptível.
Outros fatores são o carregamento do servidor VPN (se for uma VPN pública, pode ser lento no processamento de pacotes), criptografia de dados (muito pequena, como mostram muitos estudos recentes sobre HTTPS) e sobrecarga do protocolo VPN (resultando em mais pacotes a serem enviados).