Que “partes” são necessárias para configurar um cluster de servidores físicos?

Question

Histórico:

Atualmente, usamos servidores em nuvem da Rackspace. Não temos intenção de parar de usá-los, mas gostaríamos de configurar um cluster de servidores físicos (provavelmente computadores desktop no intervalo de US $ 400 com 8 GB de memória cada) para compensar parte de nossa carga e trabalhar como um secundário, mais poderoso sistema menos confiável. Para colocar as coisas em perspectiva, podemos comprar computadores desktop comparáveis pelo mesmo preço que pagamos em um mês para alugá-los na Rackspace Cloud.

Eu entendo que isso geralmente é uma ideia idiota. No entanto, nesta instância específica, o cluster de servidores é necessário para seu poder de computação. Não é de missão crítica, não hospeda um site voltado para o consumidor e, se ficar inativo por um dia ou dois, não é realmente um problema.

Atualmente, temos acesso a fios verizon de classe executiva. Se bem entendi, podemos obter pelo menos 25 endereços IP dedicados com este serviço, isso deve ser suficiente.

Requisitos:

• Cada servidor executa o Linux Centos 6.3
• Alguns servidores executam o Python e executam processos de uma fila de tarefas (Redis ou RabbitMQ)
• Alguns servidores são capazes de servir arquivos estáticos e APIs REST orientadas por Python
• Alguns dos servidores hospedam um cluster de banco de dados do Cassandra
• Um ou mais servidores são servidores de banco de dados Redis
• Um ou mais servidores são servidores PostgreSQL

Perguntas:

Que tipo de roteador ou switch é necessário?

• Gostaríamos que os computadores pudessem se comunicar efetivamente uns com os outros por meio de endereços IP internos. Isso é especialmente importante para a comunicação com servidores que hospedam o Redis e precisam responder às solicitações com muita rapidez. Existem switches ou roteadores especiais que precisam ser usados para conectar os servidores juntos?

Os computadores desktop estão ok para isso?

• Descobrimos que a maioria é de memória RAM, eu entendo que alguns servidores têm CPUs altamente superiores, mas não tenho certeza se precisamos tanto da CPU quanto da RAM, o que é barato em computadores desktop.
• Iremos ter problemas com os cartões Wi-Fi nos desktops ou com qualquer outra limitação de hardware inesperada?

Quais ferramentas devem ser usadas para "imagem" dos servidores.

• Por exemplo, quando obtemos uma instalação correta para um servidor Redis ou nó Cassandra, existem ferramentas que vêm com o Linux Centos 6.3 para criar imagens do servidor para uma unidade USB ou algo assim?
• Ou precisamos usar algum outro software para isso?

De que outras coisas nos faltam que devemos nos preocupar?

    

Answer 1

• Você não precisa de IP da Internet para isso - você pode configurar um site para o site VPN e manter tudo privado. Isto é o que eu faço com os atuais 2 locais (meu porão na Polônia, que tem uma configuração de servidor 2 rack agora, e nosso site fora em Chicago). Eu uso dois roteadores (virtual em chicago, físico aqui) para estabelecer roteamento privado.

• A área de trabalho está ok, mas dependendo do que você faz, você pode querer ir com o E3 Xeons - é possível ter 32GB de memória, mas mais importante: memória ECC. Eu realmente não quero que minhas simulações tenham resultados ruins devido à inversão de memória. Como explicação: atribuímos 1gb / core, este é um cluster HPC controlado por fila, fazendo no nosso caso simulações intensivas da CPU.

• Se você está preso à RAM - procure pela AMD. Seu soquete G32 tem uma configuração de 8 núcleos que pode manipular por um preço relativamente baixo 64GB de memória ECC. Bom para virtualização também. Eu estou recebendo alguns desses para uma atualização para meus servidores principais (plataformas hyper-v, servindo também como controlador de domínio, etc.) devido à RAM superior.

• Switch - tudo ótimo e elegante. Dependendo do que você faz, você pode querer obter um dos switches netgear que tem 48x1gb e 4x10gb - e usar o 10gb para conectar-se aos seus servidores de arquivos. Nós apenas fazemos isso - porque com os próximos computadores 2x (nós adicionamos apenas 16 no centro da lâmina) o lado do servidor sobrecarregaria a rede durante certas operações.

Caso contrário, você realmente precisa entender que a tecnologia evoluiu - switches, etc., são confiáveis hoje em dia e de alto desempenho. Nada de especial é necessário. A configuração da rede não será trivial, mas também não é muito complexa.

    

Answer 2

Você pode comprar servidores muito rápidos e confiáveis (2 soquetes de 6 núcleos) com 48 GB de RAM por cerca de 3.000 dólares. Isto é mesmo com extras opcionais, como cartões físicos ILOM, então você pode provavelmente reduzir algumas centenas.

Voltando à sua estimativa inicial para o preço da estação de trabalho, algo semelhante chega a (48/8) * 400 US $ = 2400 dólares americanos. Isso é sem o cabeamento, interruptores e outras despesas gerais.

Agora eu sei que você provavelmente não quer essa resposta, mas tem certeza de que quer fazer isso? A única razão pela qual vejo a rota do cluster desktop é querer experimentar novas tecnologias (não há nada de errado nisso, é claro).