Esta é uma questão muito subjetiva e depende muito do que você está tentando realizar.
Além disso, você está fazendo algumas perguntas de baixo nível, o que me leva a acreditar que você não trabalhou nesta arena antes, o que é ok. Todos nós começamos com zero e subimos de nível.
Dadas essas duas observações, sugiro que você comece pequeno e vá subindo.
[1] Comece primeiro com um iniciador iSCSI (cliente) e um destino iSCSI (servidor), ambos em hosts diferentes. Eles podem ser um cabo direto ou podem passar por um interruptor, neste momento não importa. Tocar aorund com isso por um tempo. Adicione mais alvos, crie um ataque mdadm a partir dos seus alvos iSCSI no seu clinet (não se preocupe se todos os seus alvos iSCSI saírem de um eixo por enquanto). Então comece a brincar com o LVM no seu cliente. Crie vários PVs, adicione-os a um VG e crie um LV. Expanda seu LV. Crie um espelho instantâneo do seu LV.
Realmente goste do LVM, ele será a chave para tudo o que você faz.
Em seguida, adicione um segundo servidor de destino iSCSI. Eu também sugeriria, neste momento, obter um switch decente que suporte o LACP e algum gerenciamento. Os switches da série Procurve 1800 são um bom bottom end, assim como o Cisco SG-300. O gerenciamento de switches e os recursos se tornarão mais importantes mais tarde, mas investir neles agora é uma boa ideia. Neste ponto, com dois servidores de destino iSCSI você vai querer ensaboar enxaguar repetir o que você fez quando você tinha um servidor. Se você realmente quiser se divertir um pouco mais, adicione um segundo iniciador e monte os mesmos alvos iSCSI. O que acontece quando você tenta gravar dois sistemas no mesmo volume EXT3? Converta seu volume para algo como GFS (há mais envolvidos, mas esse é o objetivo neste momento). Agora, o que acontece quando dois hosts gravam no mesmo volume?
Agora vamos adicionar dois tipos de nic a todos os nossos clientes. Agora você precisará aprender sobre ligação de rede [2]. Quais são os diferentes modos, como eles são diferentes? Obter algumas ferramentas de medição de largura de banda em execução em cada extremidade de sua conexão, inundar o link com os vários modos de ligação. O que acontece quando você mistura os modos para que cada final seja incompatível? O que acontece quando você usa um modo compatível com o LACP e seu switch está configurado para fazer o LACP [3]? Lather enxaguar repetir o que você fez com relação ao armazenamento acima.
Remova suas interfaces da interface vinculada. Atribuir a cada interface no servidor de destino um IP exclusivo. Certifique-se de que o seu servidor alvo irá compartilhar seus alvos iSCSI através de cada interface. Agora monte seus alvos iSCSI usando os dois endereços IP diferentes. O que acontece quando você escreve para cada um? Agora configure o multipath [4], e brinque com isso por um tempo. Abaixo uma das placas de rede do servidor de destino (remova o cabo se for o dispositivo etc.) o que você vê nos logs? Como o desempenho melhora / diminui?
Agora adicione um segundo comutador de rede. Você pode duplicar suas interfaces de rede ou dividi-las entre os switches. Que tipo de modos de ligação você deve usar? Você deve ter um link entre os dois switches? Você precisa ter o STP ativado?
Agora você está perto do final do seu aprendizado e se aproximou do nível de aprendiz. Você não sabe tudo, mas tem uma base de compreensão muito melhor do que a maioria das pessoas. A partir daqui, você terá uma ideia melhor de como arquitetar uma infraestrutura de armazenamento. A tecnologia mudará se você usar o fibre channel ou o ATAoE, mas os conceitos principais serão os mesmos.
Recursos úteis da web:
[1] link
[2] link
[3] link
[4] link
Vou abrir isto para que todos possam editar.