Apache Flume para transferir conteúdo de arquivos de texto entre duas VMs do Ubuntu

Question

Eu estou prototipando o Apache Flume. Minha tarefa é transferir conteúdo de arquivos de texto entre duas VMs do Ubuntu que eu configurei usando o VirtualBox. Eu não tenho quase nenhum conhecimento de Flume, embora eu tenha passado pela documentação deles.

Com o VirtualBox, consegui criar uma rede interna e as duas VMs conseguiram fazer ping entre si.

Também consegui fazer o download e configurar o canal conforme mostrado: link

Meu ponto é que o Flume está instalado e funciona em ambas as VMs (ou assim eu acho).

Este post me dá uma pequena ideia: link a

Então, eu implementei exatamente o arquivo flume.conf em cada VM? E preciso escrever Java para fazer isso?

Além disso, encontrei este vídeo, em torno da marca de 18 minutos que esse cara faz quase exatamente o que eu quero. No entanto, gostaria que a entrada fosse um arquivo de texto.

Então, você poderia me dizer passo a passo (eu sou iniciante) como eu faria isso? Ou me aponte para qualquer tutorial útil.

Obrigado!

    

Answer 1

Eu resolvi esse problema usando o tipo de coletor como file_roll. Eu também tive que identificar o IP da segunda VM para que os dois pudessem se conectar.

Encontrei as instruções passo-a-passo sobre como fazer isso neste link: link

Além disso, você não precisa escrever nenhum Java para fazer isso. No entanto, como é padrão no Flume, certifique-se de que seu JAVA_HOME esteja declarado corretamente no arquivo flume-env.sh. Todas as outras partes são manipuladas pelo arquivo .conf criado (conforme descrito no link acima).