Você define opções no pfctl.conf com uma instrução set limit { ... }
.
Você pode modificar o estado do filtro de pacotes enquanto estiver em execução, passando a opção '-m' (mesclar) para pfctl (8), ou seja,
FreeBSD 9.3-RELEASE-p10 (GENERIC) #0: Tue Feb 24 21:28:03 UTC 2015
# pfctl -sm
No ALTQ support in kernel
ALTQ related functions disabled
states hard limit 10000
src-nodes hard limit 10000
frags hard limit 5000
tables hard limit 1000
table-entries hard limit 200000
# echo "set limit { states 1000000, frags 1000000, src-nodes 100000, tables 1000000, table-entries 1000000 }" | pfctl -mf -
No ALTQ support in kernel
ALTQ related functions disabled
# pfctl -sm
No ALTQ support in kernel
ALTQ related functions disabled
states hard limit 1000000
src-nodes hard limit 100000
frags hard limit 1000000
tables hard limit 1000000
table-entries hard limit 1000000