Isso pode ser configurado no WinRAR com a opção Exibir arquivos no Explorer na caixa de diálogo de extração, como mostra a imagem abaixo:
A ativação funcionará para o arquivo atual, mas qualquer outro arquivo extraído terá essa opção desativada. Para garantir que ele fique em todos os arquivos, basta clicar no botão Salvar configurações abaixo e, em seguida, aplicar-se a todos os arquivos extraídos na GUI.