Eu finalmente encontrei a resposta com a ajuda dessa resposta para uma pergunta relacionada: link
Instalei a ferramenta Unlocker no link dessa resposta: Unlocker . Eu abri a ferramenta, naveguei para o diretório que eu queria "desbloquear". A ferramenta disse que nada tinha bloqueado, então eu disse para apagar a pasta. Unlocker não conseguiu excluir a pasta imediatamente, então eu selecionei para "Excluir na próxima reinicialização" e reiniciei o PC. Esta opção funcionou para remover pastas específicas.