A razão pela qual o tar (ou cpio) é recomendado sobre o cp para este procedimento é por causa de como as ferramentas operam.
cp opera em cada objeto de arquivo, lendo-o do disco e gravando-o em seu novo local. Como os locais da origem e do destino podem não estar próximos no disco, isso resulta em muita procura entre os locais.
tar e cpio lêem o máximo possível de uma só vez, e depois escrevem no arquivo. Isso significa que os arquivos de origem serão lidos um após o outro e os arquivos de destino serão gravados um após o outro (permitindo a troca de processos, é claro), resultando em muito menos procura e, portanto, menos tempo.