Parece que o Windows Media Player é o culpado.
Acredito que o iTunes ofereça suporte ao trabalho artístico incorporado em MP3s (ou salve a arte do álbum baixada em seu próprio banco de dados), portanto, excluir esses arquivos externos não causará problemas. Em caso de dúvida, faça o backup de algumas pastas do álbum e se livre dos JPGs para testar.