Se o sinal sonoro desaparecer depois que você desconectou o segundo HDD, talvez o segundo HDD estivesse apitando ...!
Como a (s) unidade (s) não emitem mais sinais sonoros, não seria uma má idéia certificar-se de que eles ainda funcionam (se estiver completamente inoperante, não emitirá um sinal sonoro).
Para descobrir qual deles estava apitando, coloque um microfone (do seu telefone ou do fone de ouvido de outro computador) ao lado de cada um e veja qual deles tem o sinal sonoro mais alto.