Para usar o IPSec, os dois lados precisam de algumas ferramentas para troca de chaves. Você pode fazer a troca de chaves manualmente, mas ninguém faz isso. Protocolo chamado ISAKMP / IKE usado para troca de chaves. Usa udp/500 . Nos sistemas * BSD, o daemon racoon é usado para isso. Como a troca de chaves ocorre na primeira conexão e, em seguida, as chaves são atualizadas periodicamente, é necessário aceitar a entrada udp/500 para que o IPSec funcione.
Se você fechar udp/500 , o IPSec poderá detectá-lo e usar o NAT traversal ( link ) ( udp/4500 ) que permite ao cliente não aceitar conexões incomming. Este pode ser o seu caso.