Se você estiver usando um kernel padrão, ele deve rodar em praticamente todos os hardwares, então mover discos de uma caixa para outra não deve ser um problema. Essa é a teoria de qualquer maneira.
No entanto, pode ser uma história diferente se estiver usando algum tipo de RAID de hardware que pode não ser compatível com outro controlador RAID de hardware.
O mesmo se aplica a hardware novo ou exótico que não é suportado diretamente pelo Linux ou por qualquer outra distro de idade da pedra que você tenha instalado nessa caixa.
Outros problemas que você pode enfrentar são a conectividade de rede interrompida devido ao endereço MAC alterado (se o seu sistema ou datacenter depender disso) ou, se for o Linux com o udev recente, devido à nomenclatura diferente para o dispositivo Ethernet.
No final, isso é algo que você precisa testar. Muitas variáveis envolvidas para uma resposta sim ou não.