Sugiro usar o rsync , que pode operar sobre o ssh.
rsync -cavz user@remote_host:/remote/path /local/destination
(o rsync deve ser instalado nos dois lados)
O rsync foi projetado para transferir diretórios de uma máquina para outra usando a menor largura de banda possível. Por padrão, ele transfere apenas os deltas entre a origem e o destino.
As opções acima (-cavz) são as que eu normalmente uso, e digo para (-c) verificar somas de verificação; (-a) preserva permissões, registros de data e hora, links simbólicos, etc .; (-v) ser verboso; e (-z) comprimir os dados transferidos.