Sem conseguir realmente ver sua configuração completa de firewall, acho que você tem um erro em algum lugar. O tráfego de entrada pode ser permitido por alguma outra regra, como por exemplo, permitindo tráfego RELATED e ESTABLISHED ou permitido pela porta ou pelo destino. Mover a regra DROP ou REJECT para cima na cadeia fará com que ela corresponda mais cedo e não seja sobrescrita por uma regra diferente.
Além disso, se o tráfego de entrada estiver sendo bloqueado, as conexões existentes ainda serão tecnicamente consideradas "abertas" até que o computador decida que o outro servidor não está respondendo. E se o seu computador não estiver tentando se comunicar com a máquina remota, ele nunca saberá que não há resposta do outro lado.