Você precisará exportar a chave e o certificado do IIS. Você deve poder exportar isso em um arquivo PKCS7. Use keytool
para importar isso para seu armazenamento de chaves java. (Também é possível usar o arquivo PKCS7, se desejar.)
Se o IIS estiver entregando o applet, você não precisará de um certificado de servidor para o applet. Se você estiver usando um servidor diferente para entregar o applet, precisará importar a chave para esse servidor.
Espero que o seu problema seja com a assinatura do applet. Sua chave não pode ser marcada como utilizável para assinatura de código. Use uma ferramenta como keytool
ou um navegador para exibir os sinalizadores no certificado. É possível ter um certificado que seja útil para um servidor e assinatura de código.
EDIT: Parece que você tem um certificado que é bom para ambos os códigos de assinatura. (Você deve assinar seu applet.) E também parece ser válido para criptografia (HTTTPS). Se você deseja usá-lo para HTTPS, ele deve ter um Nome Alternativo de Assunto para cada domínio com o qual você deseja usá-lo. Isso permitirá a validação de que o certificado é para o domínio.
Normalmente, você não usaria um applet como um servidor. Pode abrir conexões para o servidor do qual foi carregado para procurar classes adicionais. Também pode estar abrindo conexões adicionais para outros servidores. Os navegadores modernos desejarão que você especifique o acesso que o applet precisa para que o usuário possa verificar se deseja ou não concedê-los.