O que posso fazer para diminuir o custo de largura de banda em um site pesado de largura de banda?

Question

A resposta mais fácil é CDN, mas gostaria de perguntar. Um amigo meu tem um servidor que é usado para downloads de espelhos. Ele diz que está fazendo cerca de 10 TB de banda por mês, o que me chocou (eu me pergunto se ele está mentindo).

Eu vi o site dele e ele não tem anúncios. Eu suspeito que ele possa fechar seu site assim que receber a conta. De qualquer forma eu estava me perguntando desde que seu CPU / RAM não está sendo usado e seu uso de HD é em torno de 15GB o que ele pode fazer para reduzir o custo se ele continuar neste site. Eu disse colocar anúncios, mas não sei se os anúncios cobririam Eu encontrei um CDN que oferece US $ 0,070 / GB. 10240gb (10TB) * .07 = $ 717 por mês. Isso parece um pouco íngreme, mas ele está usando muito tráfego devido a ser um site espelho.

O uso de um CDN também não faz sentido, já que ele não precisa de vários servidores que hospedam os arquivos em diferentes áreas (o que é uma das razões pelas quais ele não está usando isso agora). Ele só precisa de um grande canal de upload

Existe algo que ele possa fazer? No momento, ele está pagando US $ 200 por mês em um servidor dedicado e está usando mais largura de banda do que deveria usar.

Pergunta secundária: Os arquivos grandes e compactados do Gz-ing podem ajudar? como em (zip, rars, etc)

    

Answer 1

Antes de olhar para o CDN, confirmo que o site está otimizado corretamente. A primeira coisa é verificar seus registros e ver qual conteúdo está usando a maior parte da largura de banda.

Você não indica a natureza do site, mas se a maior parte da largura de banda for proveniente de pessoas que baixam arquivos zip e rar, talvez não haja muito o que você pode fazer para otimizar. Novamente, sem conhecer a natureza, é muito difícil sugerir algo aqui, mas pode valer a pena considerar:

• Os arquivos são realmente necessários? Por exemplo, as pessoas que estão fazendo o download realmente estão procurando pelo arquivo completo? Há casos em que eles estão baixando o arquivo zip apenas para visualizar um pequeno conteúdo dentro dele?
• Existe uma alternativa para eles baixarem? Uma prévia ou visualizador pode ser fornecido no navegador, o que elimina a necessidade de baixar arquivos?
• Você pode usar o bittorrent para hospedar os arquivos? Seu servidor pode propagá-lo, mas quanto mais pessoas fizerem o download / propagação, menos tráfego você terá que manipular.

No que diz respeito à otimização do site atual:

• certifique-se de que o conteúdo estático (imagens, javascript, css) tenha cabeçalhos de cache apropriados (que garantem que os navegadores não os baixem continuamente continuamente)
• O mesmo vale para HTML estático e até HTML dinâmico, se o conteúdo não estiver mudando.
• Minimize seu css, js e html.
• Verifique se os arquivos estão divididos adequadamente (por exemplo, não inclua css / js diretamente nos arquivos HTML, especialmente se o HTML for dinâmico)
• Use YSlow para verificar todos os itens acima e aponte mais otimizações

Como o @databyte diz, compactar algo (gzip) que já está compactado não ajuda.

Os CDN são projetados principalmente para descarregar o tratamento de conteúdo estático e melhorar o desempenho de seu site. Eles fazem isso parcialmente, aliviando a carga e permitindo que seu servidor se concentre em servir o conteúdo dinâmico (parece que a carga não é um problema para você). Eles também colocam servidores em redes muito rápidas e os localizam em provedores. A razão para isso é tornar a velocidade o mais rápida possível e a latência o mais baixa possível. Se um usuário final acessa o conteúdo de um CDN e o conteúdo é veiculado diretamente de seus provedores POP, esse é o caminho mais curto possível: ele passa inteiramente pela rede gigabit no POP e depois diretamente para o usuário - nada acontece no real "Internet".

    

Answer 2

A compactação de um arquivo duas vezes não diminui o tamanho (1). A pessoa que faz o download do arquivo pode não saber que você queria comprimir o arquivo duas vezes também - imagine a diversão dele em ter que descomprimi-lo duas vezes.

Como você está espelhando conteúdo, não recomendo a recompra de todos os arquivos para um formato diferente. No entanto, se você tivesse seu próprio conteúdo, seria uma opção. Pegue tudo, compacte-o com diferentes formatos e simplesmente escolha o menor tamanho. Diferentes tipos de arquivos podem acabar fazendo melhor sob diferentes algoritmos, digamos, zip vs 7z.

Quanto à redução dos custos de espelhamento de conteúdo, reduzir 10 TB é muito - ponto final. Eu duvido que você poderia bater $ 200 usando um CDN adequado que distribui o conteúdo em vários servidores em diferentes locais.

Se os arquivos tiverem apenas 15 GB, mas você estiver simplesmente transferindo-os - você poderá criar seu próprio CDN. Configurar vários hosts baratos em diferentes plataformas, rsync os arquivos e, em seguida, ter um site escolher o espelho mais próximo. A maioria dos hosts compartilhados oferece espaço suficiente e provavelmente pode manipular 1 TB / mês a US $ 5-10 / mês.

Não é um "CDN" adequado, mas certamente custa menos de US $ 700.

(1) Tente pegar um arquivo grande e compactá-lo duas vezes, ele deve variar apenas em +/- 0-1%. Eu tentei em dois arquivos eu mesmo agora e um deles tinha cerca de 300 KB menor em um arquivo de 165MB.

    

Answer 3

Eu terei certeza de que o servidor suporta o cabeçalho de solicitação HTTP Range . E que o cache do navegador é permitido pelo servidor (veja: link ). Use gzip e / ou deflate a compactação para o conteúdo que ainda não está compactado (por exemplo, arquivos de texto, html, css)