Depende do seu orçamento. Se você puder pagar um novo servidor, eu compraria um novo que vem com controlador RAID e permite que você instale novos discos rígidos em trânsito, e eu usaria o antigo como o servidor de backup. Você pode usar um dos servidores Dell .
AFAIK, instalar um HDD com controlador RAID pode exigir que você remova todos os seus dados atuais e instale tudo novamente. Seja o que for que você faça, eu definitivamente recomendo algum tipo de disco rígido, pois os discos rígidos não são confiáveis.
Uma solução de backup fácil é configurar outra caixa que periodicamente se conecta ao seu servidor e obtém um instantâneo de todos os seus dados. Você pode encontrar facilmente os scripts de backup on-line e personalizá-los para seu uso. Tudo o que você precisa é de um script para compactar todos os arquivos em um arquivo tar.gz e transferi-lo usando comandos scp ou rsync junto com uma tarefa cron para fazer isso todos os dias. Desta forma, você pode ter seu próprio servidor de backup pronto o tempo todo e apenas trocá-los caso algo aconteça com o seu servidor principal.