Número máximo de arquivos em um único diretório para montagens NFS do Netapp no Linux

Question

Em uma caixa Linux mais antiga que eu tenho, há uma montagem NFS de um Netapp. Quando houver 100k arquivos em um único diretório nessa caixa, os arquivos não poderão mais ser gravados. Alguém sabe o que pode estar causando isso? Já me disseram que links simbólicos ainda podem ser escritos.

Vou adicionar mais informações específicas à medida que for pesquisando. Por favor, pule o 'use melhor uma estrutura de arquivos / pastas e / ou banco de dados', eu sei ...

    

Answer 1

O sistema está atingindo o limite de link para um diretório que é uma limitação fixa do sistema de arquivos NetApp ONTAP. A partir deste artigo da base de conhecimento :

Starting with Data ONTAP 6.5, the maximum number of subdirectories a single directory may have is 99998 (100K). Data ONTAP 6.4 and earlier versions were restricted to 65534 (64K) subdirectories. This number may not be changed. To understand the reason for this limit, see the section below on hard links and subdirectory implementation.

    

Answer 2

Existem dois limites que você pode ter atingido.

• inodes (improvável)

  Você consumiu todos os inodes disponíveis para esse volume. Você pode confirmar isso com os comandos df -i e maxfiles .

• maxdirsize (mais provável)

  O ONTAP impõe um limite no tamanho dos diretórios. Tamanho sendo um produto de metadados / hardlinks, não conteúdo de arquivo. Este limite padrão (assumindo > 6,5) para 1% da RAM do seu sistema. Isso é feito para garantir que diretórios grandes não afetem o desempenho do sistema. Como as varreduras de diretório linear exigem que as estruturas de dados do diretório sejam carregadas na memória. Visão geral rápida:

  • Você pode verificar um tamanho de diretório com ls -lkd .
  • Aumento de maxdirsize para um volume é um pouco de operação unidirecional.
  • Crie apenas pequenos incrementos.
  • Você não pode reduzir o tamanho de um diretório excluindo seu conteúdo.
  • Eu tenho esses dois links favoritos que contêm muito mais informações.
    • AGORA: O que é maxdirsize?
    • Comunidades: maximiza as configurações recomendadas e as implicações de desempenho

Se não for nenhum desses problemas, recomendo verificar e postar seus registros do ONTAP.

    

Answer 3

link

Um pouco datado, mas pode ser útil. Eu acredito que o número de arquivos é baseado no número de discos / nós.

    

Answer 4

Em versões mais recentes do NetApp (8.1+), você pode sobrescrever os limites padrão por volume usando este comando:

vol options vol_name maxdirsize 150000

Para ver as configurações atuais, execute

vol options vol_name

Não há como alterá-los do cliente da GUI.