Copiar arquivos requer recursos do sistema. Lembre-se também de que você está medindo a partir da VM. Não é a avaliação mais precisa.
Grande parte disso depende de como o provedor de VPS projetou a infraestrutura virtual. Eu ficaria menos preocupado com grandes cópias de arquivos e tentaria avaliar a velocidade usando ações representativas do que o servidor estará fazendo no dia-a-dia. Se é apenas hospedagem de sites, o uso da CPU de mover arquivos pode não importar. Se este é um sistema de banco de dados, pode ser importante ...
Neste momento, siga o seu ticket existente com o provedor.