O Windows Media Player é o seu aplicativo de desktop tradicional antigo para reprodução de mídia.
O Groove Music é o aplicativo Universal do Windows , ou seja, o aplicativo Store. Universal significa que o Groove Music estará disponível em todos os dispositivos Windows 10 , seja um Xbox One, um telefone Lumia ou um PC.
O Groove Music é um dos aplicativos otimizados para a iniciativa Continuum * da Microsoft e provavelmente receberá atualizações com mais frequência do que o Windows Media Player.
Tudo de lado, o Groove Music soa melhor que o Media Player. Eu escolheria sobre o outro a qualquer dia.
* O Continuum é o recurso do Windows 10 que permite que você use seu telefone ou tablet com Windows 10 como desktop ou vice-versa.