Eu não acredito que isso seja um problema de rede.
É muito mais provável que seja um problema de memória. Com apenas 2GB de servidor de RAM e executando RSYNC em um arquivo de 5G, eu suspeito que o servidor primeiro. Você pode monitorar a memória do servidor enquanto estiver executando-a.
O lado do cliente também pode ter problemas. Eu desisti do RSYNC para Windows, por exemplo, porque ele sempre falhava em arquivos grandes, não importando a quantidade de memória RAM que você tinha.
Eu teria que questionar se o rsync era a ferramenta certa para o trabalho em arquivos tão grandes. Depende do arquivo, é claro, mas a menos que qualquer atualização seja compatível com o mecanismo de diferenças do rsync, provavelmente não há sentido. Uma transferência direta pode ser melhor. Você pode até usar algo como zip ou tar para dividir o arquivo para que você possa enviá-lo em partes e remontar na outra extremidade.