Eu não sei exatamente como você definiu esses, mas você pode remover as variáveis (em vez de anulá-las) usando o seguinte.
1) Primeiro verifique o que você tem em uma nova sessão PowerCLI com Get-Variable (você deve ver algo assim, mas provavelmente um valor para um servidor)
Name Value ---- ----- global:DefaultVIServer global:DefaultVIServers {}
2) Remova cada um usando Remove-Variable DefaultVIServer e Remove-Variable DefaultVIServers 3) Tente conectar-se ao vCenter correto com o Connect-VIServer yourvcenter.domain.com *
Se você continuar a redefinir as variáveis, é possível que você tenha personalizado algo no arquivo de inicialização (C: \ Arquivos de Programas (x86) \ VMware \ Infraestrutura \ vSphere PowerCLI \ Scripts \ Initialize-PowerCLIEnvironment.ps1) para que você possa precisar para substituir / remover as entradas lá (nunca tentei isso, apenas tendo um palpite)
PS. Desculpe pela formatação de bagunça, ainda me acostumo com o formato