Você pode importar seus certificados em Opções da Internet. Existe uma aba chamada Content
que tem um botão chamado Certificates...
. Eu encontrei este howto curto com algumas fotos explicativas agradáveis. O howto é para algum proxy especial, mas a importação do certificado é a mesma.