O problema não está na minha configuração de som, mas no Chrome.
O Chrome tem um bug conhecido no qual não é possível alterar a reprodução quando o dispositivo padrão é alternado.
Para corrigir, adicione -disable-audio-output-resampler ao atalho do Chrome na caixa de destino.