O bipe pode vir da BIOS durante o POST pode muito bem ser o motivo. Dê uma olhada nas configurações da sua BIOS, pode haver uma opção como "Beep durante o POST" ou similar.
A solução da marreta seria desconectar o alto-falante interno da sua placa-mãe. O alto-falante em si é muitas vezes integrado ao seu gabinete, mas você pode geralmente (reversivelmente) desconectá-lo puxando o conector da placa-mãe.