É chamado de Crossfading. Não tenho certeza de qual versão você do Windows Media Player você tem, então essas instruções podem ser um pouco diferentes para você.
Vá para o menu Exibir, localizado na parte superior da janela do Windows Media Player e clique em Aprimoramentos. Agora escolha Crossfading e Auto Volum Leveling. Em seguida, desligue o Crossfading.