Obviously high availability is the number one concern for web hosting, is it worth buying a couple of cheap switches and having one as a cold spare?
Como isso vai lhe comprar alta disponibilidade? Você vai dirigir ao seu co-lo para substituí-lo se falhar? Sua infraestrutura de rede entre seus servidores ficará inativa o tempo todo. Por outro lado, você vai comprar todos os tipos de outros problemas devido a não usar equipamentos decentes. Idéia correta aqui, apenas a implementação errada.
I would like the ability to firewall most ports except for the standard 80,443 and 3389.
Como observou o @Dennis Kaarsemaker - os switches não são firewalls, embora muitos switches de nível empresarial tenham a capacidade de fazer filtragem básica de Camada 3 / Camada 4 usando ACL s. Mais uma vez, dependendo de suas necessidades específicas, isso pode ser suficiente. Se você tem requisitos complexos para o seu firewall, você vai querer comprar dispositivos dedicados para esse fim.
Would it be preferable just to go for an enterprise grade switch?
Sim. Profissionais usam equipamento profissional. Você vai querer comprar pelo menos dois dos chamados switches "gerenciados" (veja O que devo prestar atenção quando estou comprando um switch de rede? para uma visão geral.). Você não mencionou nenhum benchmark sobre o tipo de tráfego de rede que você mediu entre seus servidores, quanta largura de banda eles precisarão, se os protocolos que você está usando são sensíveis à latência e quais são seus planos para expansão. Assim, você pode querer considerar switches que são modulares para que você possa suportar muitas tecnologias diferentes de Camada 1 e com um backplane suficientemente robusto se você precisar de velocidades de 10Gb. Mais uma vez, sem ter feito nenhum benchmark, você poderia facilmente construir sua solução ou, provavelmente, subutilizá-la e acabar comprando nova infraestrutura novamente em breve.
Você provavelmente desejará configurar o Protocolo Spanning-Tree e Canais de Porta / LACP para que você possa executar ambos os comutadores em" paralelo ", de preferência com cada ligar o seu próprio poder. Cada linha representa várias conexões de rede que são agrupadas para garantir a redundância.