Estamos usando o hadoop para dividir uma tabela em arquivos menores para alimentar o mahout, mas no processo, criamos uma enorme quantidade de logs temporais.
Nós temos uma montagem NFS para o volume do hadoop para que possamos usar todos os comandos do linux para excluir os arquivos das pastas, mas não podemos excluí-los, eis o que tentei até agora:
hadoop fs -rmr /.../_temporary : hangs for hours and does nothing
na montagem do NFS:
rmr -rf /.../_temporary :hangs for hours and does nothing
find . -name '*.*' -type f -delete : same as above
As pastas são assim (38 dessas pastas dentro de _temporary):
drwxr-xr-x 319324 user user 319322 Oct 24 12:12 _attempt_201310221525_0404_r_000000_0
O conteúdo deles é na verdade pastas, não arquivos. Cada uma dessas 319322 pastas tem exatamente um arquivo dentro. Não tenho certeza porque o logging desta maneira.
Um rm , rm -r ou rmdir funciona no arquivo ou diretório individual, respectivamente?
Se sim, aposto que você está esperando no NFS para classificar os nomes das pastas do 319222 e apresentá-los em ordem alfabética. Experimente ls -f | xargs rm -r