O rsync é uma maneira prática de transferir arquivos entre servidores. Funciona via SSH fora da caixa (e suporta conexões SSH sem senha baseadas em chave).
Você pode copiar de local para remoto ou buscar de remoto para local, etc. Por exemplo:
# copy files to another server
rsync -avz /mnt/myfiles/ [email protected]:/srv/myfiles
No servidor remoto, é bom usar uma conta não-root e configurar uma entrada authorized_keys para que você não precise inserir sua senha. O SSHing diretamente para o root em outro servidor não é uma boa idéia - se você precisar de root privs no servidor remoto, faça o rsync a partir desse fim. Se você acha que precisa privs root em ambos os servidores, você não pode: veja a opção --fake-super
do rsync.
Eu olhei em vários HOWTOs online e muitos deles recomendam práticas francamente ruins ou estão desatualizados (recomendando authorized_keys2, rsa, etc). Esse eu recomendo, é bom em termos de segurança: link