O Internet Explorer, por padrão, não permitirá nada assinado com um certificado inválido. Você deve manualmente entrar e alterar a configuração nas configurações de segurança "Inicializar e executar scripts de controles ActiveX não marcados como seguros para script" e alterá-lo para solicitar ... ou para habilitado (muito inseguro)
Como alternativa, se você puder obter o certificado para o controle activex ... e, em seguida, adicioná-lo às suas autoridades de certificação raiz na máquina local ... ele poderá identificar o certificado como sendo assinado.
Basicamente ... a pessoa que criou o controle activex A) está usando um certificado falso para assinar seus programas ... ou B) teve um certificado válido mas deixou expirar ou foi revogado.
Em um segundo, no entanto ... Você já tentou usar um navegador não ativo ativado? muitos programas como esse possuem alguma detecção embutida que tentará o activex ... e então retornará ao java ou algo assim.