Você pode enviar um RST com iptables -p tcp [...] -j REJECT --reject-with tcp-reset .
Eu duvido que exista algum valor real em fazer com que o nmap diga que uma porta está "fechada" em vez de "filtrada". Principalmente é fazer com que as conexões sejam recusadas mais rapidamente, em vez de esperar por um tempo limite (por exemplo, com -j DROP ) ou por um tratamento ICMP às vezes não confiável (com as outras opções --reject-with ).