iptables
Você pode descartar esses pacotes na cadeia OUTPUT da tabela FILTER.
O protocolo
RFC 793 (TCP) especifica o comportamento de envio de RST
SEGMENT ARRIVES
If the state is CLOSED (i.e., TCB does not exist) then [...]:
An incoming segment not containing a RST causes a RST to be sent in response.
E o Linux o implementa corretamente.
A interface sysctl
Parece que o comportamento também não é ajustável através da interface sysctl (veja tcp (7) ). De qualquer forma, essa página man é definitivamente uma boa leitura se você ainda não a encontrou.
Código do kernel
Dependendo do que você realmente deseja alcançar, alterar o código do kernel diretamente pode ser uma opção.