Excluindo o diretório temporário do HDFS

Question

Existe uma maneira inteligente de excluir arquivos antigos do diretório hdfs / tmp? (Só para ter certeza, eu não estou falando sobre o unix FS / tmp)

    

Answer 1

hadoop fs -stat "%Y" "/path/*" Produz timestamps de tudo em / path /. Use isso junto com um corte quanto ao que você considera muito jovem e você pode ter essa limpeza em um shell script iniciado pelo cron.

Isso pode ser mais inteligente do que analisar outras coisas produzidas pelo hadoop fs.

    

Answer 2

Aqui está (o código fonte de) uma pequena ferramenta que faz o trabalho: link

Eu poderia escrever um por conta própria (ou portar o dado para o Python), então não preciso criar uma cadeia de criação para Golang na minha empresa.

E mais um para os usuários do Ruby: link