Devido a sua conexão, como USB2 / USB3 e a velocidade do disco interno e externo. Mas tente usar o rsync:
rsync -arzv --progress /folder/source/* /folder/destination/
Qual conexão você tem? Que velocidade você pode reportar?
rsync - a fast, versatile, remote (and local) file-copying tool
-a, --archive archive mode; equals -rlptgoD (no -H,-A,-X)
-r, --recursive recurse into directories
-z, --compress compress file data during the transfer
-v, --verbose increase verbosity
--progress show progress during transfer
Dependendo do processador, pode fazer sentido não usar o parâmetro -z