É claro que o Firewall do Windows prejudicará o desempenho.
Ele precisa inspecionar todos os pacotes dentro e fora do servidor.
Isso exige CPU.
Se você precisar aumentar o desempenho no servidor, será necessário desativar o Firewall do Windows e instalar um firewall de hardware.