Para mim, "silenciar o som" implica que os arquivos de som ainda podem ser reproduzidos, mas o volume é zero, então eles não são ouvidos.
Nesse caso, não haveria vantagem de desempenho, porque o processador ainda passaria pelo processo de carregamento de arquivos.
Mas mesmo que o processador seja poupado da tarefa de carregar os arquivos - a diferença no desempenho seria muito pequena e provavelmente imensurável em todos os hardwares, exceto os mais antigos.