servidor nfs obtendo muitos rpc-srv / tcp: nfsd: enviado apenas 700260 ao enviar 1048708 bytes - desligando o soquete

Question

O sistema está rodando o CentOS 7.3, servindo arquivos através de ethernet e infiniband, mas a grande maioria do tráfego está acima do infiniband

Acabei de criar um novo servidor de arquivos que agora está gerando grandes números do seguinte erro:

[2007827.701033] rpc-srv/tcp: nfsd: sent only 618872 when sending 1048708 bytes - shutting down socket
[2007835.313884] rpc-srv/tcp: nfsd: sent only 75908 when sending 1048708 bytes - shutting down socket

Eu aumentei o tcp_rmem e o wmem para um máximo de 32mb, mas o problema persiste

net.ipv4.tcp_rmem = 4096 87380 33554432 
net.ipv4.tcp_wmem = 4096 65536 33554432

Existem outras maneiras de ajustar isso para contornar o problema?

    

Answer 1

Este site reporta mais algumas sugestões, incluindo o aumento do NIC txqueuelen. Essas sugestões são voltadas principalmente para redes de alta latência, porém notei que sob interfaces Fedora24 Infiniband obtém por padrão um valor txqueuelen (256) menor do que outras interfaces (1000), portanto a sugestão txquelen, além das demais, também pode fazer sentido neste caso.

A maneira moderna de fazer isso é, na verdade:

ip link set ib0 txqueuelen 10000

Depois de seguir as sugestões na página indicada, os erros do nfs-on-Infiniband do tipo que você relatou cessaram no meu servidor nfs.