A resposta scp é boa e deve funcionar bem se for uma pequena quantidade de arquivos que você precisa transferir, mas se falhar ou você tiver que parar a transferência, você pode usar o rsync. O comando seria parecido com este rsync -rP -e ssh username@serveraddress:"directory/file" /destinationfolder/
o r é para downloads recursivos se você precisar de uma pasta, o capital P é para que você possa resumir o que falhou ou foi parado prematuramente e o e ssh
informa ao rsync para se comunicar através do ssh. Espero que isso ajude.