O IIS não pode importar diretamente arquivos PEM. Em vez disso, você precisa convertê-lo em um formato compatível com IIS e importá-lo. O OpenSSL permitirá que você faça essa conversão. A linha de comando seria algo como:
openssl pkcs12 -export -in cert.pem -inkey key.pem -out cert.pfx -name "cert"
Você pode importar o cert.pfx para o IIS.