Se você está falando de um servidor com conteúdo estático, eu definitivamente optaria por lighttpd .
Para distribuir a carga (se necessário), em primeiro lugar, eu escolheria uma solução simples de round robin de DNS, keepalived e / ou LVS pode entrar em jogo mais tarde, se isso for realmente necessário.
Você também pode querer examinar as várias opções que sintonizam sua pilha de IPs com sysctl antes de lançar mais hardware nele.
Se você precisar de mais de uma caixa, eu usaria rsync em combinação com inotify , para que, quando você atualizar sua "caixa mestra", o rsync envie imediatamente as alterações. Eu definitivamente tentaria evitar o NFS já que ele introduziria um único ponto de falha (se não fosse altamente disponível com alguma técnica de HA) e adicionaria mais uma camada de interação de rede e latência.
A abordagem rsync e inotify provavelmente exigiria uma boa quantidade de scripts, mas manteria as condições de corrida em que os clientes desejam baixar um arquivo que ainda não esteja sincronizado com o servidor da Web em questão.
A parte que diz
I am doing this for a hosting company, it may be overkill
me fez pensar. Por que não executar um rastreador de BitTorrent e deixar o CDN se construir? Ou está usando HTTP um requisito difícil?