Fator de Forma
Acho que você terá mais sorte com o que está falando se optar por um servidor em rack. No entanto, eles são barulhentos (eles normalmente moram em um datacenter onde as pessoas não estão, então normalmente não é um problema).
UPS
Você vai querer um no-break & Possivelmente um gerador fora para aqueles momentos em que a energia se apaga por um tempo, embora dependendo da confiabilidade da energia, você pode ser capaz de conviver com apenas um no-break. A APC tem algumas boas, e elas até têm um guia de dimensionamento .
Discos Rígidos
O kmarsh mencionou o RAID 5 (3 discos), embora o RAID 1 (2 discos) também funcionasse. Ir de 1 a 5 é um aumento de velocidade.
Fontes de alimentação
O kmarsh também mencionou fontes de alimentação redundantes. Você definitivamente deveria pegá-los.
Rede
NICs duplas também são um requisito. O Linux pode unir duas NICs para que pareça um endereço. Em seguida, você os conectaria a switches / roteadores / firewalls redundantes para que nenhum deles pudesse funcionar sem afetar o tempo de atividade.
Troca a Quente
Você mencionou que gostaria de alterar os componentes defeituosos sem reinicializar; isso é conhecido como hot-swapping. Isso é comumente encontrado em um rack.
Para todos os componentes periféricos (fontes de alimentação, HDs, unidades de DVD / CD, qualquer unidade de disquete, e memória), verifique com o fabricante se eles são hot-swappable. O hot swap deve ser suportado pelo sistema operacional host, a placa-mãe, & o componente que você está trocando. Você mencionou o Linux; que suporta hot swapping. Nós usamos Dells para todo o nosso hardware; eles têm muito bom suporte. Além disso, o suporte que temos garantirá que tudo seja hot-swap.
Acesso Remoto
Também temos Dell RACs em nossos servidores; As placas de acesso remoto permitem que você ligue / desligue / reinicialize remotamente o servidor, conecte-se ao console ou coloque um CD sem estar lá. É como estar no console sem dirigir / voar por aí. Sobre a única coisa que você não pode fazer (que você seria capaz de no local) é substituir o hardware defeituoso.