Eu faço simulações em grandes supercomputadores, e os arquivos que produzo são da ordem de 5 GB a 1 TB. Mas eu frequentemente gosto de monitorar o progresso da simulação usando um programa de visualização no meu laptop, então vou transferir os arquivos de log / dados enquanto a simulação ainda estiver rodando. Quando a simulação terminar, eu tenho que SCP todo o arquivo novamente. Existe uma maneira de atualizar apenas a nova parte que foi adicionada?
Você pode usar rsync com a opção --append ou --append-verify . Consulte a página do manual rsync (1) para obter detalhes.
Nota: mesmo sem --append ou --append-verify , rsync será muito mais eficiente que scp (mas, como seus dados são realmente grandes, você pode precisar de uma dessas opções de qualquer maneira).
Tags scp