Capacidade de canal insuficiente de 1GBit

Question

Há um servidor de cache (verniz): ele recebe dados do Amazon S3 mediante solicitação, salva-os por algum tempo e os fornece ao cliente. Encontramos o problema de capacidade insuficiente do canal de 1GBit. O pico de carga dentro de 4 horas sufoca completamente o canal. O desempenho do servidor é suficiente por enquanto. Aproximadamente 4,5 TB de dados são transmitidos por dia. Mais de 100 TB são acumulados por mês.

O primeiro pensamento que vem à mente é simplesmente adicionar mais uma porta de 1GBit e dormir em paz até que 2GB não sejam suficientes (isso pode acontecer muito rapidamente) ou que um servidor não consiga lidar com isso.

E então só precisamos adicionar novos servidores de armazenamento em cache. Mas agora precisamos de um Load Balancer, que enviará solicitações em uma mesma URL, sempre em um único servidor (para evitar várias cópias dos mesmos objetos em cache).

Aqui estão as perguntas:

1. Um balanceador precisa de uma banda igual à soma de todas as bandas de servidores de cache? O que faremos caso não haja portas em um balanceador? Devemos adicionar mais balanceadores ou resolver o problema por meio do DNS round robin?
2. Quais são as abordagens padrão para esses problemas?
3. Alguém pode aconselhar empresas de hospedagem, o que pode resolver esse problema? Estamos interessados nos mercados americano e europeu.

Answer 1

Does a Balancer need a band equal to sum of all bands of Caching Servers? What shall we do in case there are no ports in a Balancer?

Sim. Adicione tubos maiores ou use o balanceamento de carga geográfica CDN.

Should we add more Balancers or solve the problem by means of Round robin DNS?

Esta é realmente a mesma solução. Você adiciona mais balanceadores e os insere no DNS round robin. Ou, como eu disse antes, a alternativa mais inteligente é usar o balanceamento de carga geográfica.

What are the standard approaches to such problems?

Use um DNS que responda com o servidor mais próximo ao usuário e coloque esses servidores em todo o mundo. Isso tem outras vantagens, como fornecer uma experiência de baixa latência para seus usuários.

Can anyone advise hosting-companies, which can solve this problem? We are interested in American and European markets.

Para o balanceamento de carga de DNS geográfico, você deve pesquisar no Google. Você precisará de um serviço de DNS mais avançado, mas deverá ser capaz de encontrá-lo. Na Europa, você deve definitivamente dar uma olhada na OVH, que tem uma rede realmente grande e pode fornecer largura de banda de vários gigabits. Para os EUA, não sei.

    

Answer 2

Sim, o balanceador de carga deve ser capaz de lidar com todo o tráfego acumulado de / para todos os servidores. Portanto, eu recomendaria usar um balanceador de carga com um uplink de 10 Gb e outras portas de 1 Gb conectadas a vários servidores de armazenamento em cache. Um balanceador de carga de hardware pode ser mais eficiente para lidar com esse tráfego tão grande.

Seu limite será de 10 Gb no máximo, supondo que o balanceador de carga consiga lidar com todo o tráfego sem problemas.

O balanceador de carga também pode verificar a integridade dos servidores antes de direcionar uma solicitação para qualquer servidor que tenha maior disponibilidade.

Um algoritmo de balanceamento de carga adequado deve ser escolhido para evitar a duplicação do cache e para apresentar os dados corretos ao usuário certo.