O MSIE permite ser incorporado em outros aplicativos (porque é um aplicativo OLE). É por isso que o Firefox pode iniciar o IE dentro de uma guia do Firefox. Isso parece funcionar tão facilmente porque o Windows sempre tem o IE instalado.
O oposto não é possível; o IE não pode abrir o Firefox dentro de uma aba do IE porque o próprio Firefox não foi feito para ser embutido em outros aplicativos. Mesmo se a incorporação fosse possível, você ainda precisaria ter o Firefox instalado (você mencionou que queria evitar isso). Você não pode obter o mecanismo de renderização do Mozilla sem instalá-lo ...
É por isso que qualquer aplicativo do Windows que precise de um navegador usa o IE ou contém seu próprio aplicativo de navegador.
Houve, uma vez, um bookmarklet do IE que abriria a página atual no Firefox - mas isso ainda requer que o Firefox seja instalado.