Eu fiz recentemente HTTPS + WINRM e tenho exatamente os mesmos problemas.
A solução é - antes de invocar o comando
winrm quickconfig -transport: https
você deve fazer algum trabalho de pré-requisito. para ser mais específico, você deve instalar no certificado do servidor.
você pode ver como fazer isso aqui - link
para encurtar a história:
1 criar certificado CA ROOT
cmd> makecert -pe -n "CN=Test And Dev Root Authority" -ss my -sr LocalMachine -a sha1 -sky signature -r "Test And Dev Root Authority.cer"
exporte-o com chave privada dos certificados mmc do host em que você invoca o makecert e instala no servidor e no host do cliente para certificados.mmc - máquina local - Autoridades raiz confiáveis
2 criar certificado ssl
cmd> makecert -pe -n "CN=8.8.8.8" -ss my -sr LocalMachine -a sha1 -sky exchange -eku 1.3.6.1.5.5.7.3.1 -in "Test And Dev Root Authority" -is MY -ir LocalMachine -sp "Microsoft RSA SChannel Cryptographic Provider" -sy 12 8.8.8.8.cer
onde CN = 8.8.8.8 - deve ser o IP do servidor
exporte o certificado com chave privada do certificado mmc e importe para o servidor para certificates.mmc - localmachine - personal
APENAS APÓS QUE INVOCAR
winrm quickconfig -transport:https
Espero que o meu gasto de vários dias tentando descobrir como funciona vai salvar o seu par de dias