Eu tenho vários temporizadores Quartz, que são executados mensalmente, geram arquivos csv e enviam para o meu servidor usando ftp & protocolos sftp (em máquinas diferentes). Isso funcionou muito bem para mim até o mês passado, quando os dados gerados aumentaram (ficaram acima de 700 MB).
Nos últimos dois meses, poucos arquivos gerados com aproximadamente mais de 750 MB são rejeitados pelo servidor. Inclusive adicionei um mecanismo de repetição, que retira o upload três vezes após uma falha. Mas ainda assim, os arquivos são rejeitados pelo servidor. Os logs podem ser vistos abaixo:
2018-06-01 17:33:08,274 INFO qtp306482657-35241 MainToFTP - FTP To My Server Processing...
2018-06-01 17:33:08,274 INFO qtp306482657-35241 route10 - Performing SFTP Request On: sftp://[email protected]/tax/?knownHostsFile=~/.ssh/known_hosts&privateKeyUri=file:///root/config/certs/sftp_id_rsa&privateKeyPassphrase=
2018-06-01 17:33:16,769 WARN qtp306482657-35241 org.apache.camel.component.file.remote.RemoteFileProducer - Writing file failed with: Cannot store file: test/2018/05-2018/Analytics/Insights_05-2018.csv
2018-06-01 17:33:16,773 WARN qtp306482657-35241 org.apache.camel.processor.DefaultErrorHandler - Failed delivery for (MessageId: ID-internal-36789-1525113942187-0-4258069 on ExchangeId: ID-internal-36789-1525113942187-0-4258018). On delivery attempt: 0 caught: org.apache.camel.component.file.GenericFileOperationFailedException: Cannot store file: test/2018/05-2018/Analytics/Insights_05-2018.csv
2018-06-01 17:33:26,991 WARN qtp306482657-35241 org.apache.camel.component.file.remote.RemoteFileProducer - Writing file failed with: Cannot store file: test/2018/05-2018/Analytics/Insights_05-2018.csv
2018-06-01 17:33:26,992 WARN qtp306482657-35241 org.apache.camel.processor.DefaultErrorHandler - Failed delivery for (MessageId: ID-internal-36789-1525113942187-0-4258069 on ExchangeId: ID-internal-36789-1525113942187-0-4258018). On delivery attempt: 1 caught: org.apache.camel.component.file.GenericFileOperationFailedException: Cannot store file: test/2018/05-2018/Analytics/Insights_05-2018.csv
O mesmo fluxo funciona bem quando o tamanho do arquivo é menor que 700 MB. Eu tentei descobrir se eu poderia mudar o limite máximo do arquivo a ser carregado usando ftp, mas não obtive muito sucesso. Alguns posts que encontrei Link1 , Link2 , Link3
Além disso, o ulimit -a para um tamanho de arquivo para meu usuário é ilimitado
[bugbig@MX-80432 ssh]$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 31361
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
Posso aumentar o limite de tamanho de arquivo para ftp / sftp? Obrigado antecipadamente!