Eu tenho um servidor que mantém milhares de arquivos de log que estão aninhados em milhares de diretórios. No momento, estou usando o RSYNC para copiar esses arquivos de log em um servidor da web onde os analiso e os disponibilizo por meio de um aplicativo da web.
Meu problema é que, dado o enorme volume de arquivos e diretórios, o RSYNC leva muito tempo. Eu preciso obter os arquivos mais recentes várias vezes por hora e isso não está provando ser muito eficiente.
A minha pergunta é, basicamente, existe uma maneira melhor? Talvez alguma maneira de informar ao servidor de origem para enviar qualquer arquivo de log que tenha sido alterado em vez de usar o RSYNC para verificar toda a estrutura de pastas?
Minha única prioridade é obter os arquivos de log que foram transferidos para o servidor da web o mais rápido possível, várias vezes por hora. Mas o RSYNC está provando não ser tão útil dado o tempo que leva.
Obrigado!
Você pode colocar seu log em uma partição LVM e delta-transferir um instantâneo. A transferência de nível de bloco deve, no seu caso, ser mais rápida, porque não há sobrecarga de verificação.
Para transferir, você pode usar
rsync --inplace
ou
xdelta