Isso é configurado no Painel de Controle - Opções da Internet em particular. Vá para a guia Avançado e role para baixo até encontrar uma caixa de seleção rotulada "Usar FTP passivo (para compatibilidade com firewall e modem DSL)". Desmarque isto.
Sim, o Windows Explorer segue as configurações do Internet Explorer.