No menu de temas, deve haver uma opção quando você clica com o botão direito do mouse no tema ... right click -> delete theme . Observe que você não pode excluir o tema que está usando no momento, precisa alternar para outro primeiro e depois excluir o tema.
Alguns temas estão localizados em %UsersProfile%\AppData\Local\Microsoft\Windows\Themes também, como uma nota lateral.