Excluir arquivos 10 dias mais antigos do hdfs

Question

Estou escrevendo um script ksh para limpar diretórios e arquivos hdfs com pelo menos 10 dias de vida. Eu estou testando o comando de exclusão em um terminal, mas ele continuou dizendo que está errado:

$ hdfs dfs -find "/file/path/file" -depth -type d -mtime +10 -exec rm -rf {} \;
find: Unexpected argument: -depth

O que estou fazendo de errado?

    

Answer 1

O comando hdfs dfs executa o seguinte comando em um shell especial que não é totalmente compatível com Unix, alguns dos programas disponíveis lá são como os programas Unix, mas outros não. O programa find é um deles, as expressões que o comando entende em hdfs são apenas as seguintes:

-name pattern
-iname pattern
-print
-print0Always

Portanto, a expressão que você está experimentando não funciona com o shell hdfs, infelizmente.

Fonte: A documentação do hadoop