Se eu quisesse provar se o firewall do Windows está soltando uma conexão, eu ligaria o log. Abra o MMC e adicione o snap-in na máquina local para o firewall do Windows Defender. Você pode clicar com o botão direito do mouse no item de linha agora e definir propriedades para ele. Na primeira página estão as configurações de registro, nas quais você pode fazer com que conexões AND e negadas sejam registradas e onde o arquivo de log vai. Revise isso.
Se isso não der o que você deseja, ative o Wireshark para capturar o tráfego que está realmente acontecendo. Se você definir suas regras de firewall corretamente, como você está dizendo, talvez o tráfego não esteja realmente chegando ao servidor ou haja alguma outra falha, como perda ou fragmentação de pacotes.
Se todas as verificações acima forem verificadas, verifique os registros de eventos do seu aplicativo por motivos pelos quais ele pode decidir não responder.