Isso é muito fácil no Windows Vista e acima, devido ao novo subsistema de áudio.
Basta clicar no ícone Áudio e depois em mixer, e você pode controlar o som por aplicativo.
Frequentemente trabalho com música e, como parte do meu trabalho, navego em várias páginas da web. Há aqueles com vídeo jogando por padrão ou mesmo com banners habilitados para som, então eu quero desativar todos os sons de reprodução, exceto para o aplicativo tocando música (no meu caso é foobar2000).
Estou usando o Windows 7 como SO e o foobar2000 como player de áudio.
Se possível, prefiro usar uma solução nativa do Windows que não envolva aplicativos de terceiros.
Isso é muito fácil no Windows Vista e acima, devido ao novo subsistema de áudio.
Basta clicar no ícone Áudio e depois em mixer, e você pode controlar o som por aplicativo.
Wil está correto, com uma ressalva: um navegador da Web não será exibido no Volume Mixer até que esteja realmente tocando (já me deparei com esse problema no passado); então você teria que carregar e reproduzir um vídeo (ou um reprodutor de mídia incorporado, um jogo em flash, etc) que usasse som no navegador e, em seguida, abra o Volume Mixer para silenciar o navegador.