Can you create your own options?
Se por criação, você quer dizer escrever um módulo Linux Kernel, então sim. Você pode construir todos os módulos e novas opções. Existem também muitos módulos de filtros de rede não padronizados para protocolos obscuros ou novos e filtragem que não entraram no kernel da linha principal.
Os módulos ocasionalmente são adicionados ao kernel. Então, o módulo policy
que você mencionou parece estar disponível no meu sistema Ubuntu 12.04 e em um sistema Debian mais antigo. Mas ele não está instalado em um sistema Debian ainda mais antigo que eu tenho.
I searched these options for iptables but wasn't able to find anything.
Parece ser documentado pelo sistema Ubuntu na página man do iptables (8). Ele também parece estar documentado na página de manual do die.net iptables. Muitos não estão disponíveis no seu sistema devido à idade ou porque o seu sistema foi construído de forma diferente.
Aqui está um trecho da minha página de manual.
policy This modules matches the policy used by IPsec for handling a packet.
--dir {in|out} Used to select whether to match the policy used for decapsula‐ tion or the policy that will be used for encapsulation. in is valid in the PREROUTING, INPUT and FORWARD chains, out is valid in the POSTROUTING, OUTPUT and FORWARD chains. --pol {none|ipsec} Matches if the packet is subject to IPsec processing. --pol none cannot be combined with --strict.
...
Se você tiver o arquivo .config usado para construir seu kernel, você pode ver se a opção foi configurada para construir isso como um módulo
# grep -i policy /boot/config-2.6.26-2-686
CONFIG_NETFILTER_XT_MATCH_POLICY=m