Para evitar que o arquivo seja um erro muito grande, você pode usar a opção --max-size=SIZE
encontrada na página do manual que irá dizer ao rsync para ignorar arquivos acima de um certo tamanho.
Portanto, no seu caso, o comando seria semelhante a:
rsync --max-size=3999m /source/files /dest/files