Escrevendo centenas de arquivos em disco por segundo

1

Estou trabalhando em um software para o qual seria útil escrever entre 100 e 200 arquivos por segundo no disco. Os arquivos variam em tamanho de 1k a 3k. Ubuntu é o sistema operacional, usando o sistema de arquivos ext4 .

Até agora eu vi um comportamento estranho. No início, os inodes acabaram, causando erros de "espaço em disco". Mas, para combater isso, mudamos para uma partição grande e aumentamos maciçamente o número de inodes.

No entanto, estou ainda recebendo os erros "Não há espaço disponível no dispositivo". Em máquinas diferentes. Com df -i e df -h informando muito espaço livre e muitos inodes gratuitos.

De falar com pessoas que eu tive respostas variando de "deve estar bem" para "isso é muitos arquivos para escrever no disco um segundo". Eu experimentei esse comportamento em 3 máquinas Ubuntu diferentes.

Existe uma resposta definitiva para isso? Para isso, muitas gravações devem ser apenas usar um banco de dados ou o sistema operacional deve ser capaz de lidar com isso?

    
por Andy Smith 10.08.2013 / 08:47

1 resposta

1

Pode haver um problema com o número de descritores de arquivos abertos; você pode verificar seu valor atual do sistema via ulimit -n .

Se isso não for suficiente, aumente-o executando ulimit -n 50000 (por exemplo).

    
por 10.08.2013 / 16:39