A primeira coisa a fazer é fazer backup de qualquer coisa que ele mesmo tenha feito, limpar a unidade e reinstalar um sistema operacional. Eu recomendaria uma das distribuições Linux mais fáceis de usar (como o Ubuntu) se tudo o que ele faz é e-mail, navegação na web e processamento de texto leve (como minha sogra), mas se ele quiser executar algo não disponível no Linux (muito comum), reinstale o Windows. Sério, se ele está recebendo popups publicitários do nada, seu sistema operacional está seriamente comprometido, e meias-medidas são improváveis de remover tudo.
Supondo que esta seja uma versão recente do Windows, remover ou desabilitar o Internet Explorer não fará nada. IE hoje em dia é algo como um programa shell, já que o Windows inclui serviços como renderização de HTML. Eles são usados por aplicativos e outras partes do sistema operacional, e você não vai se livrar deles.
Uma coisa a considerar é instalar outro navegador. O Firefox é bom para isso, porque tem muitos plug-ins defensivos que você pode obter. NoScript (meu favorito) requer uma compreensão muito básica de como os computadores funcionam, o que muitas pessoas parecem não entender, e seu irmão pode estar entre eles. No entanto, o AdBlock Plus pode parar alguns dos adwares.
Há a lista usual de coisas para recomendar ao seu irmão. Como em quais sites ele navega, embora (a) ele provavelmente os navegue porque deseja, e (b) houve um problema recente de adware no site do New York Times, então nenhum site que venda anúncios está seguro. Ou ter cuidado com o que ele clica. Ele mantenha seu Windows atualizado e verifique se ele possui um bom software antivírus.
Infelizmente, os bandidos são cada vez mais inteligentes, e está ficando cada vez mais difícil configurar uma caixa do Windows que seja meio segura para o surfista médio. Você pode ter que passar por isso novamente.