A Microsoft geralmente não faz coisas sem motivo.
My Music é uma pasta configurada para armazenar arquivos do tipo "música". Assim como sua pasta Meus vídeos está configurada para armazenar arquivos do tipo "vídeos". Ao fazer isso, o Windows exibirá o conteúdo da pasta com uma exibição que é propícia à visualização do tipo de arquivo que ela contém.
Por exemplo, a pasta de músicas mostrará detalhes sobre as músicas - artista, tempo de reprodução, etc. Isso não seria necessário em uma pasta como Meus Documentos.
Além disso, essas são pastas especiais que a maioria dos programas reconhece e conta para estar presente. O Windows fornece um mecanismo para os programas identificarem as pastas especiais, independentemente de como são chamadas ou onde estão armazenadas.
Você pode alterar o tipo de arquivos que uma pasta está configurada para conter. Como modificar suas configurações de visualização de pastas ou personalizar uma pasta.
Mas você não pode alterar o tipo de configuração dessas pastas especiais. Além disso, só pode haver uma pasta especial de cada tipo por usuário.
Seria uma má idéia remover quaisquer pastas especiais, porque, como dito anteriormente, os programas esperam que elas existam e as usarão de acordo.