Taxa de transferência de iSCSI usando redes Gigabit padrão

Question

Acabamos de comprar um servidor de armazenamento Dell com (12) unidades SATA de 7.200 RPM executando RAID 10 e (4) placas de interface de rede gigabit. Além disso, possui uma placa controladora PERC H700 com 512 MB de cache on-board. Estaremos anexando hipervisores ao servidor dell (armazenamento em nível de bloco), que armazenará máquinas virtuais.

Nossa pergunta é, usando iSCSI e uma única conexão de gigabit entre cada hipervisor e o dell storage server, é verdade que a taxa máxima de transferência por hipervisor seria 1000 Megabits / 8 = 125 Megabytes por segundo? Ou estou completamente errado e o iSCSI faz algum tipo de compactação e é capaz de obter taxas de transferência de I / O mais altas.

125 megabytes por segundo são um pouco lentos, já que temos 12 eixos e rodamos o RAID 10. Quais são algumas alternativas, além do canal de fibra para remover o gargalo da rede? Estamos cientes da habilitação de quadros jumbo e tentaremos qualquer outra coisa. Que tipo de desempenho devemos esperar usando uma conexão gigabit única por hipervisor?

    

Answer 1

Eu diria que você teria sorte de quebrar 100MB / s. Em teoria, sim, você poderia transferir 1000Mbps ou 125MB / s, mas entre as várias camadas de sobrecarga (cabeçalhos Ethernet e IP, o próprio iSCSI, o fato de que algum tempo tem que ser gasto entre pacotes) você nunca verá isso.

Além disso, não esqueça que 125MB / s (ou menos) é o que você verá saindo da caixa NAS; que deve ser compartilhado entre todos os servidores da VM. Portanto, não espere ver isso indo para cada servidor VM.

Para agilizar as coisas, vá para redes de 10Gbps (não é barato) ou use Etherchannel / channel bonding / LACP / qualquer que seja o nome do seu fornecedor específico e cole vários links de 1Gbps para formar um tubo maior. se isso não for uma opção (os servidores 1RU que eu vi têm uma porta de expansão), então você pode querer considerar um protocolo alternativo - pessoalmente, eu acho que o ATA over Ethernet é uma opção tristemente negligenciada se você está procurando um bom protocolo de SAN (em oposição ao NAS).

Além disso, observe que as unidades SATA de 7200 RPM realmente têm desempenho ruim, especialmente em E / S aleatória e, possivelmente, tendem a ter problemas bastante irritantes em relação ao tratamento de erros (até mesmo as chamadas unidades "corporativas" não são o que eu chamaria de "adequado" em um ambiente SAN de alto desempenho). Eu gerenciei uma SAN que usava esse tipo de unidade e, francamente, gastaria o dinheiro extra em unidades decentes se eu fosse fazer isso de novo.

    

Answer 2

O iSCSI não tem compactação e a taxa de transferência esperada será ainda menor quando você considerar a sobrecarga do protocolo (Ethernet, IP e iSCSI).

A maneira mais fácil de aumentar isso provavelmente coloca mais NICs no servidor de armazenamento e nos hipervisores e usa a agregação de portas.

    

Answer 3

Pergunta antiga, mas aqui está o detalhe.

1000Mbit / s é a taxa de bits máxima. Você pode pensar que isso, portanto, = 125MBytes / s.
Não, não. Você vê que 1000Mbit / s é a taxa de bits física no nível do link. Para começar, há overheads de protocolo. TCP + IP.

Pouco menos de 95% da largura de banda real de 1000Mbit / s está disponível depois de ter TCP / IP. Baseado em MTU de 1500 bytes sem VLAN & IPv4.

Veja: Overhead do protocolo

Agora, adicionando iSCSI. Parece também que o iSCSI add é um cabeçalho de 48 bytes. Portanto, com um MTU 1500, o que sobra são 1412 (1500-40-48) bytes. Portanto, nossa taxa de transferência cairá para aproximadamente 91% do máximo. ((1500-88) / (38 + 1500))

Portanto, sem usar quadros jumbo, espere ver um máximo absoluto de 114MB / s. Isso pressupõe uma transferência perfeita com o quadro inteiro sendo preenchido e nenhum pacote descartado.

Na realidade, espero que você fique abaixo disso, especialmente se outros usuários estiverem atingindo a máquina de destino.

Notas:

• O iSCSI não adiciona compactação.
• O LACP pode ajudar muito.
• A ativação de quadros Jumbo pode ajudar um pouco, pois diminui o frame / overhead em comparação aos dados reais.

Answer 4

O LACP não ajuda. Ele se beneficia quando vários hosts ESX visitam um destino iSCSI, mas não aumentam a largura de banda para uma situação de um em um. O MPIO é a única maneira de aumentar a largura de banda.