Esta estratégia é conhecida como "port-knocking" e existem numerosas implementações.
Veja este link para uma lista grande, bastante centrada no Linux: link
E a entrada da Wikipedia: link
Aqui está uma versão somente do iptables (que eu pessoalmente acho revoltante): link