Parece que sua placa de áudio / cabos estão isolados ou isolados de maneira inadequada.
Se os cabos não estiverem adequadamente protegidos ou estiverem muito próximos da sua placa gráfica, é possível que os fios atinjam qualquer campo eletromagnético e você o ouça através dos alto-falantes.
O fato de usar um cabo HDMI corrigiu isso, implica que o problema não é com a GPU ou a placa de áudio, se você tiver uma, mas sim com algo explicitamente relacionado aos cabos de áudio.
Agora, outra possibilidade é que você está recebendo interferência no fio, devido à falta de aterramento ou flashback elétrico. Tente verificar todas as conexões em seu mobo, especialmente aquelas ao redor da GPU, placa de áudio (se aplicável) e o conector para os cabos de áudio, embora a verificação de todos os conectores não seja uma má idéia.
É possível que sua mobo não esteja isolando adequadamente os vários dispositivos e cabos, e o que você está ouvindo são picos de tensão que não estão sendo absorvidos pelos mecanismos internos projetados para isso. Eu realmente não sei como testar isso, mas se tudo mais falhar, é algo para se olhar.
Para outro ponto de dados, seria interessante ver se você pegou a GPU do outro computador e a colocou no PC com problemas, e veja se isso muda alguma coisa. E outra pergunta, se você mover o cabo aux do conector de fones de ouvido na parte frontal, o que presumo que esteja usando, e conectar o alto-falante nos conectores na parte de trás, alguma coisa muda?
EDITAR : Acabei de perceber algo. O som passa por HDMI também, ou apenas vídeo? Tente um novo cabo VGA, parece possível que o vazamento esteja ocorrendo no conector GPU-VGA. Inspecione a conexão para ver se você pode encontrar algum fio que tenha rachaduras ou que esteja quebrado, etc.