A partir do Windows Vista, você pode usar o aplicativo Volume Mixer (clique duas vezes no ícone de volume na bandeja do sistema) para controlar o nível de som de aplicativos individuais .
Aqui está uma captura de tela de exemplo:
Você também pode executar o programa digitando sndvol
no prompt Executar.
Deve funcionar para o que você gostaria de fazer.