Qualquer parte de um servidor pode ser redundante, mas pode haver trocas significativas que podem ser causadoras de conflitos - dependendo do que você está fazendo -
O maior deles, em muitos casos, é o de sites redundantes - mesmo que você tenha dois PCs se eles estiverem distantes um do outro, a latência pode prejudicar seu IO.
Entrando nos dispositivos -
Você não pode realmente tornar a memória redundante, mas você pode usar a memória ECC para maior integridade.
Você não pode ter placas-mãe redundantes - isso realmente significa 2 computadores.
Você não pode ter CPUs redundantes, embora você possa ter várias CPUs e desativar uma que não tenha desempenho.
A parte de um computador que falha com mais frequência é o disco rígido - por um longo caminho. Falhas de memória também são bastante comuns.