Como QoS NFS?

5

Eu tenho a seguinte configuração de armazenamento baseada em NFS:

Nós de cálculo são Linux. Os servidores NFS são Solaris.

Um usuário não tão importante executa vários trabalhos de leitura intensiva em um subconjunto dos nós de computação. Como resultado, todo o grupo de nós de computação fica muito lento ( ls bloqueia por 30 segundos). Consegui rastrear que o servidor NFS dedicado está atingindo o limite da taxa de transferência de leitura do san.

Como implementar qualidade de serviço (QoS) limitando a largura de banda do NFS a nós, processos ou usuários?

    
por Aleksandr Levchuk 31.01.2011 / 03:42

2 respostas

2

Não tenho certeza se o NFS pode ser "protegido" contra o que equivale a um DDOS de um cluster. Se você realmente precisar disso, usar outra coisa para acessar o armazenamento persistente será mais fácil.

Dada sua configuração, sugiro fazer o "QoS" no nível do mecanismo do cluster.

Configure um recurso "io_heavy" limitado a dizer "10" e faça com que seus usuários solicitem "1" para trabalhos pesados com E / S. Dessa forma, não mais do que 10 jobs vinculados a E / S serão executados simultaneamente. Seu NFS não entrará em colapso e o resto do cluster permanecerá livre para tarefas ligadas à CPU.

Você também deve adicionar discos de trabalho aos nós. Estes podem conter dados temporários que realmente não precisam ir para o NFS. Também ajuda a fornecer "dados de referência" que são comumente usados aqui.

Suponho que seus servidores Solaris NFS usem o ZFS. Preencha os servidores com o máximo de RAM que você puder colocar neles. Adicione SSDs aos servidores a serem usados como discos do Cache do ZFS. Ambas as coisas reduzem o tráfego na sua SAN.

    
por 02.03.2014 / 17:53
1

O QOS é normalmente usado para dar prioridade a certos tipos de fluxos de rede. Você não pode isolar e limitar a porta do usuário no comutador de rede? Ou colocá-lo em uma VLAN separada? Ou limitar a taxa de dados da porta para 100MBps?

Além disso, não estou ciente de qualquer limitação de largura de banda NFS por nome de usuário ou endereço MAC. Talvez o seu servidor NFS tenha opções para garantir uma maneira mais distribuída de atender às solicitações de arquivos?

Pensando fora da caixa: move os arquivos de leitura intensiva para mais perto do usuário e executa um processo de backup / rsync para gravar os dados atualizados de volta ao NAS?

Que tipo de trabalhos intensivos em leitura são esses, afinal?

    
por 02.02.2011 / 01:22