Will leaving a dead battery inside the laptop damage other components?
Na minha experiência, não.
Se a bateria vazar fluido corrosivo sobre outras partes, isso provavelmente causaria danos. Eu suspeito que esse tipo de vazamento seja improvável. Se isso acontecesse, você seria capaz de ver algum dano.
Is it okay if I simply remove the battery and use the laptop with a new hard disk?
Isso funciona para mim. É possível que a resposta dependa do seu laptop específico. Tentando não deveria doer.
Eu acredito em alguns casos (mas claramente não todos) a bateria é um intermediário necessário entre a fonte de alimentação externa (carregador) e o fornecimento interno para a placa-mãe, etc.