Concat todos os arquivos distribuídos remotamente em seu cluster

Question

Eu quero concatenar todos os arquivos abc_2015-12-15.txt presentes no meu cluster. Existe alguma maneira de conseguir isso?

Uma maneira é usar o comando abaixo em todos os nós até que todos os arquivos concatenados: -

ssh root@node1 "cat >> /home/abc/abc_2015-12-15.txt" < /home/abc/abc_2015-12-15.txt

Qual é o caminho mais rápido para concatenar em ambientes distribuídos.

    

Answer 1

Existem algumas maneiras de coletar os arquivos localmente e, em seguida, fazer a concatenação, se você precisar que o resultado final seja um único arquivo.

Ansible é uma ótima ferramenta para executar tarefas em clusters e possui um módulo para buscar arquivos remotos ( link ), embora a curva de aprendizado inicial possa ser um pouco de barreira.

Se a interação da linha de comando é mais fácil de entender, e você pode instalar um utilitário Python, o RadSSH ( link ) tem algum maneiras rápidas de coletar arquivos individualmente (* get /home/abc/abc-2015-12-15.txt) ou como tarfiles (* tgz /home/abc/abc-2015-12-15.txt), entre outros truques .