DRBD desempenho de sincronização terrível em 10GigE

Question

Eu configurei um par de servidores idênticos com matrizes RAID (8 núcleos, 16 GB de RAM, 12x2 TB RAID6), 3 interfaces de 10 GigE, para hospedar alguns serviços altamente disponíveis.

Os sistemas estão atualmente rodando Debian 7.9 Wheezy oldstable (porque o corosync / pacemaker não está disponível no 8.x stable nem testando).

• O desempenho do disco local é de cerca de 900 MB / s de gravação, 1600 MB / s de leitura.
O
• rendimento de rede entre as máquinas é superior a 700 MB / s.
• por meio do iSCSI, cada máquina pode gravar no armazenamento do outro em mais de 700 MB / s.

No entanto, não importa a maneira como eu configuro o DRBD, a taxa de transferência é limitada a 100MB / s. Realmente parece com algum limite hardcode. Consigo reduzir o desempenho de forma confiável ajustando as configurações, mas nunca ultrapassa 1Gbit (122MB / s são atingidos por alguns segundos por vez). Estou realmente puxando meu cabelo neste aqui.

• kernel de baunilha simples 3.18.24 amd64
• drbd 8.9.2 ~ rc1-1 ~ bpo70 + 1

A configuração está dividida em dois arquivos: global-common.conf :

global {
        usage-count no;
}

common {
        handlers {
        }

        startup {
        }

        disk {
                on-io-error             detach;
         #       no-disk-flushes ;
        }
        net {
                max-epoch-size          8192;
                max-buffers             8192;
                sndbuf-size             2097152;
        }
        syncer {
                rate                    4194304k;
                al-extents              6433;
        }
}

e cluster.res :

resource rd0 {
        protocol C;
        on cl1 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.1:7788;
                meta-disk internal;
        }

        on cl2 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.2:7788;
                meta-disk internal;
        }
}

Saída de cat /proc/drbd no escravo:

version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE 
 0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
    ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
        [>....................] sync'ed:  0.1% (16103024/16107384)M
        finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec

Saída de vmstat 2 no mestre (ambas as máquinas estão quase completamente inativas):

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0      0 14952768 108712 446108    0    0   213   254   16    9  0  0 100  0
 0  0      0 14952484 108712 446136    0    0     0     4 10063 1361  0  0 99  0
 0  0      0 14952608 108712 446136    0    0     0     4 10057 1356  0  0 99  0
 0  0      0 14952608 108720 446128    0    0     0    10 10063 1352  0  1 99  0
 0  0      0 14951616 108720 446136    0    0     0     6 10175 1417  0  1 99  0
 0  0      0 14951748 108720 446136    0    0     0     4 10172 1426  0  1 99  0

Saída de iperf entre os dois servidores:

------------------------------------------------------------
Client connecting to cl2, TCP port 5001
TCP window size:  325 KByte (default)
------------------------------------------------------------
[  3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  6.87 GBytes  5.90 Gbits/sec

Aparentemente, a sincronização inicial deve ser um pouco lenta, mas não tão lenta ... Além disso, ela não reage a nenhuma tentativa de limitar a taxa de sincronização como drbdadm disk-options --resync-rate=800M all .

    

Answer 1

Alguém em outro lugar sugeriu que eu usasse estas configurações:

        disk {
                on-io-error             detach;
                c-plan-ahead 0;
        }
        net {
                max-epoch-size          20000;
                max-buffers             131072;
        }

E o desempenho é excelente.

Editar: Como por @Matt Kereczman e outras sugestões, eu finalmente mudei para isto:

disk {
        on-io-error             detach;
        no-disk-flushes ;
        no-disk-barrier;
        c-plan-ahead 0;
        c-fill-target 24M;
        c-min-rate 80M;
        c-max-rate 720M;
} 
net {
        # max-epoch-size          20000;
        max-buffers             36k;
        sndbuf-size            1024k ;
        rcvbuf-size            2048k;
}

A velocidade de ressincronização é alta:

cat /proc/drbd
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:133246146 nr:0 dw:2087494 dr:131187797 al:530 bm:0 lo:0 pe:5 ua:106 ap:0 ep:1 wo:d oos:4602377004
        [>....................] sync'ed:  2.8% (4494508/4622592)M
        finish: 1:52:27 speed: 682,064 (646,096) K/sec

A velocidade de gravação é excelente durante a ressincronização com essas configurações (80% da velocidade de gravação local, velocidade total do cabo):

# dd if=/dev/zero of=./testdd bs=1M count=20k
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,3731 s, 731 MB/s

A velocidade de leitura está correta:

# dd if=testdd bs=1M count=20k of=/dev/null
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,4538 s, 729 MB/s

Edição posterior:

Após uma ressincronização completa, o desempenho é muito bom (gravação da velocidade do arame, leitura da velocidade local). A ressincronização é rápida (5/6 horas) e não prejudica muito o desempenho (leitura da velocidade do fio, gravação da velocidade do arame). Eu definitivamente vou ficar com o c-plan-ahead no zero. Com valores diferentes de zero, a ressincronização é muito longa.

    

Answer 2

Em versões mais recentes do DRBD (8.3.9 e mais recentes), há um controlador de ressincronização dinâmica que precisa de ajuste. Em versões mais antigas da configuração do DRBD, o syncer {rate;} era suficiente; agora é usado mais como um ponto de partida sugerido para a velocidade de ressincronização dinâmica.

O controlador de sincronização dinâmico é sintonizado com as "configurações c" na seção de disco da configuração do DRBD (consulte $ man drbd.conf para obter detalhes sobre cada uma dessas configurações).

Com o 10Gbe entre esses nós, e assumindo baixa latência desde que o protocolo C é usado, a seguinte configuração deve fazer com que as coisas se movam mais rápido:

resource rd0 {
        protocol C;
        disk {
                c-fill-target 10M;
                c-max-rate   700M;
                c-plan-ahead    7;
                c-min-rate     4M;
        }
        on cl1 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.1:7788;
                meta-disk internal;
        }

        on cl2 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.2:7788;
                meta-disk internal;
        }
}

Se você ainda não estiver satisfeito, tente transformar max-buffers em 12k. Se você ainda não estiver satisfeito, pode tentar aumentar c-fill-target em incrementos de 2 milhões.

    

Answer 3

c-plan-ahead precisa definir um valor positivo para ativar o controlador de taxa de sincronização dinâmica. disco c-plan-ahead 15; // 5 * RTT / 0.1s unit,in my case is 15 c-fill-target 24; c-max-rate 720M;