Como minha sugestão (comentário) funcionou para o OP, estou postando isso como uma resposta
Inicie o VSCode como administrador, para que o powershell integrado também receba os privilégios de administrador como você esperava.
Em vez disso, toda vez que você clicar com o botão direito e "Executar como administrador", navegue até a pasta de instalação do programa VSCode e faça a seguinte demonstração.