Acho que o parâmetro sysctl é apenas para visualização. Você desejará usar a interface /sys/module/nf_conntrack/parameters/hashsize
para alterações de tempo de execução e a opção hashsize
module para configurá-la durante o carregamento inicial do módulo.
Você deseja uma entrada em um arquivo /etc/modprobe.d/
semelhante a isto:
options nf_conntrack hashsize=XXXXX