Se você está tentando instalar o sistema Linux 500 através da instalação de rede ao mesmo tempo, o gargalo seria o NFS / HTTP / FTP ou qualquer servidor que possua os arquivos necessários para a instalação.
IMO, isso só pode ser resolvido adicionando mais servidores de instalação e, em seguida, round-robin-los.
Existe alguma solução melhor para este problema? Algo como "instalação P2P Linux"?
ATUALIZAÇÃO: Eu preciso descrever minha situação de forma mais específica. Atualmente estou implantando o RHEL usando o kickstart + NFS. Quando tento implantar 500 RHEL simultaneamente, o servidor NFS terá um tráfego enorme e tornará cada processo de instalação lento. Configurar mais servidores NFS é uma solução, mas não acho que seja boa.
O instalador do Avalanche do rocks linux cluster distro, é baseado em bittorrent e escala bem. Ele também leva você do boot PXE para o sistema em execução. Embora você esteja ligado ao uso de rochas (baseadas no CentOS) e fazendo as coisas do jeito das pedras.
SystemImager também pode usar bit-torrent para uma implementação em massa mais rápida.
Eu não usaria multicast porque isso torna as coisas mais complicadas. Primeiro, tente minimizar o tráfego NFS, o que significa obter os pacotes que você precisa instalar via HTTP. Se o seu servidor da Web para o repositório de pacotes ficar sobrecarregado, use dois deles e distribua a carga atribuindo diferentes servidores a cada cliente (por exemplo, o endereço IP módulo 2).
Seu servidor NFS pode ser mais rápido se mais daemons nfsd forem iniciados. Muitas vezes apenas 8 deles são iniciados.
Eu apenas medi o tráfego de uma instalação Debian (via PXE, NFS, HTTP) usando o FAI. Ao instalar 4.2GB de software, 1.3 GB de HTTP (todos os pacotes) e 100MB de tráfego NFS (o nfsroot durante a instalação) foram enviados pela rede. Isso foi para um cliente de instalação. Então eu acho que reduzir o tráfego NFS e distribuir o tráfego HTTP ajudará muito.
Uma placa de rede de 10 GB em seu servidor ou placas de rede servidoras auxiliares também ajudará. E, eu acho que não é necessário instalar toda a máquina ao mesmo tempo, mas mais em um curto espaço de tempo.
Mas de qualquer forma, primeiro você precisa analisar qual será o gargalo. Portanto, faça alguns testes em 20 máquinas, por exemplo.
Não conheço uma maneira de usar o bittorrent ou o multicast, a menos que você seja capaz de migrar para a implantação de uma imagem, em vez de executar instalações. Caso você não seja, aqui está uma maneira de abordar o problema.
Vamos pensar mais de perto sobre o gargalo. CPU não é o gargalo; O NFS não requer muito poder de processamento. O disco não é o gargalo; os arquivos necessários para instalar o RHEL não são mais do que alguns gigabytes, portanto devem caber facilmente na RAM do seu servidor NFS. O rendimento da rede é definitivamente um gargalo; assumindo que um sistema sendo instalado solicitará em média 50 megabits por segundo, você precisaria de pelo menos 25 gigabits de largura de banda para alimentar 500 instalações. Isso é um monte de NICs, ou alguns muito caros.
Isso não significa que você não deva tentar melhorar o desempenho jogando mais hardware nele, dentro da razão. Obtenha quantos NICs forem viáveis no servidor NFS e vincule-os. Se você puder justificar o tempo e o custo, configure mais servidores NFS. Claro, certifique-se de que seus servidores NFS sejam bem ajustados .
Independentemente de você adicionar hardware, veja se você obtém um aumento no desempenho evitando o congestionamento da rede e equilibrando os altos e baixos no throughput. Para fazer isso, divida as instalações em lotes. Execute uma única instalação e represente graficamente o rendimento durante a instalação. Observe esse gráfico e determine quantas instalações você pode iniciar simultaneamente e quando os tempos ideais para iniciar mais lotes são.
Por exemplo, digamos que você pode transferir 4Gb / s do (s) servidor (es) NFS. Talvez você descubra que uma instalação copia 100Mb / s para o primeiro minuto enquanto o instalador está sendo baixado, então não copia nenhum dado por um minuto enquanto o instalador funciona como o particionamento, então ele copia 50Mb / s por três minutos enquanto o instalador o instalador faz o download e extrai pacotes. Sabendo disso, você pode calcular que pode iniciar 40 instalações, esperar um minuto, iniciar outras 40 instalações, esperar 5 minutos e repetir o processo.
No que diz respeito à implantação em massa de arquivos, já existe uma solução trazida pelo Twitter, baseada no bittorent: Assassinato .
Se você está falando sobre a instalação do sistema operacional em seu servidor, obviamente não funcionará com esta solução.
Tags linux deployment