No Windows Media Player 11 e 12, clique em Ferramentas > Opções > Dispositivos > Alto-falantes > Propriedades > Selecione o dispositivo de áudio.
Você também pode precisar reiniciar o WMP para que as alterações entrem em vigor.
A captura de tela a seguir mostra onde a opção está no Windows Media Player 12, Windows 7.