Em geral, é muito mais rápido copiar arquivos maiores do que muitos arquivos menores. Ao transferir um único arquivo grande, seu tempo de cópia é dominado pela velocidade de transferência. Ao copiar muitos arquivos pequenos, seu tempo é dominado pela criação de arquivos.
Você provavelmente pode acelerar as coisas colocando a pasta de origem e transferindo o arquivo tar, mas observe se você tem 500.000 arquivos para transferir, você terá que pagar o custo de toda a criação de metadados mais cedo ou mais tarde.
Você também pode encontrar diferentes sistemas de arquivos mais ou menos caros. link é bem antigo agora, mas inclui uma comparação. Além disso, você pode escolher diferentes opções de montagem para o seu sistema de arquivos, pois algumas delas podem fazer uma diferença significativa. Por exemplo, no ext4, você pode querer investigar noatime,nodiratime,relatime,barrier=0,commit=30