Percebi que essas pastas não podem ser excluídas depois de uma ou duas reinicializações adicionais.
Pode ser que, após a primeira reinicialização, ainda haja algumas outras coisas que precisam ser feitas antes que o diretório possa ser removido - infelizmente, o Windows não parece limpá-las sozinho, e é por isso que resta tudo com ter que limpar depois.