Analisando arquivos remotos

Question

Eu tenho dois sistemas. Eu tenho alguns arquivos de log em um sistema (A) que estão sendo gerados a cada hora. Eu quero analisar esses arquivos de outro sistema (B). Uma maneira é copiar os arquivos e depois analisá-los (B). Mas isso consumirá muita largura de banda para copiar e, se eu analisar os arquivos no sistema original (A), aumentará a utilização da CPU, o que devo evitar.

Alguém pode sugerir a melhor maneira de fazer isso? Em palavras simples, o que eu quero é: Use o sistema B para analisar os arquivos localizados no Sistema Remoto A para que eu não tenha muita carga no sistema A (independentemente da carga no sistema B) enquanto também a carga na rede é otimizada .

    

Answer 1

f eles são apenas arquivos de texto padrão, você pode provavelmente chegar perto de 90% de taxas de compressão se você compactá-los antes de enviar. Haverá alguma carga ao compactá-los, mas provavelmente menos do que a análise custaria.

Editar: devido aos comentários, eu também sugiro usar a compactação HTTP e servir os arquivos de log para a máquina remota para análise. Ele ainda gerará carga para compactar as páginas, mas talvez seu servidor da Web faça um trabalho melhor em equilibrar os recursos do que disparar o 7-Zip em segundo plano.