Movendo milhões de arquivos pequenos resulta em erro de "falta de espaço"

4

Não estou tentando mover 4,5 milhões de arquivos (o tamanho varia de 100 a 1000 bytes) de uma partição para outra. O tamanho total da pasta é de ~ 2,4 GB

Primeiro, tentei zipar e mover o arquivo compactado para o novo local. É capaz de colar apenas ~ 800k arquivos e mostra erro "fora do espaço".

Em seguida, tentei o comando mv e também resultou na mesma condição.

O uso do rsync também resultou no mesmo erro, com apenas ~ 800k arquivos sendo movidos.

Eu verifiquei o status livre de disco e está bem abaixo do limite. (A nova partição tem ~ 700 GB de espaço livre e o espaço necessário é de ~ 2,4 GB).

Eu verifiquei o inode livre para essa partição é o mesmo. Ele está usando apenas ~ 800k dos inodes máximos possíveis de 191 M. (Eu tinha realmente formatado a partição com 'mkfs.ext4 -T pequeno / dev / sdb3')

Eu não tenho ideia do que está errado aqui. Toda vez que só é capaz de copiar ou mover ~ 800k apenas arquivos.

    
por deathholes 10.01.2018 / 17:58

1 resposta

2

Eu encontrei o motivo do erro (encontrei em um fórum diferente). O erro foi devido ao algoritmo de hash usado pelo ext4 que é ativado pelo parâmetro "dir_index". Houve muitas colisões de hash para mim, por isso o desativei com o seguinte comando:

tune2fs -O "^dir_index" /dev/sdb3

A desvantagem é que minha partição é mais lenta do que antes devido a nenhuma indexação.

Para mais informações sobre o problema: ext4: Misterioso “Não há espaço disponível no dispositivo” - erros

    
por 13.01.2018 / 06:54