Transferência não segura: Use o wget. O wget é mais rápido que o curl. A razão para isso é que o wget dispara vários pedidos em paralelo.
Transferência segura: Use scp como descrito por Brendan. O wget e o curl usam criptografia SSL para transferência segura. O SSL é geralmente mais lento do que usar um túnel SSH, que é o que o scp usa.