Você pode usar balanceamento de carga e failover ou hospedar o site em uma máquina virtual executada em vários servidores físicos. Se um único servidor físico morrer, o restante dos servidores poderá hospedar as máquinas virtuais até que a máquina seja reparada.
Dependendo do ambiente, você pode ter peças sobressalentes, mas a HP tem um contrato de serviço de 4 horas, no qual obterá uma peça de reposição dentro dessa janela de 4 horas. Muitos servidores possuem discos e RAM hot-swap, embora a maioria precise de um desligamento para substituir uma fonte de alimentação.
É uma área bastante fascinante e muito técnica - se estiver interessado, dê uma olhada nos serviços de Balanceamento de Carga de Rede e Cluster no Server 2008.