OK, aqui está o que finalmente funcionou. Eu extraí o instalador completo do instalador da web. Isso levou horas. Eu recomendo usar uma rede com fio.
PS> ./vs_Professional.exe --layout ./temp --lang en-US
E executou o programa de instalação desse diretório. Isso me permitiu desinstalar (principalmente) sem erros. Concluiu com sucesso, mas o programa Control Panel.
Pelo menos, desta vez, eu poderia desinstalar completamente e com êxito do Painel de Controle.