OK, eu finalmente percebi isso - desde que eu tenho um teclado Logitech G15, o Windows 7 instalou o Windows SideShow e anexado a ele.
O recurso SideShow estava mantendo o Windows Media Player vivo para mim. Indo ao Painel de Controle - > Hardware - > Windows SideShow, você pode desativar ou ativar o que acontece com o SideShow.