No menu de temas, deve haver uma opção quando você clica com o botão direito do mouse no tema ... right click -> delete theme
. Observe que você não pode excluir o tema que está usando no momento, precisa alternar para outro primeiro e depois excluir o tema.
Alguns temas estão localizados em %UsersProfile%\AppData\Local\Microsoft\Windows\Themes
também, como uma nota lateral.