Algo que eu uso com bastante frequência quando não há conexão possível entre os dois servidores
scp -3 user@server1:/path/to/file user@server2:/path/to/file
fonte
-3 Copies between two remote hosts are transferred through the local host. Without this option the data is copied directly between the two remote hosts. Note that this option disables the progress meter.
Supondo que você tenha uma boa conexão com ambos, não é muito lento.