Acho que o parâmetro sysctl é apenas para visualização. Você desejará usar a interface /sys/module/nf_conntrack/parameters/hashsize para alterações de tempo de execução e a opção hashsize module para configurá-la durante o carregamento inicial do módulo.
Você deseja uma entrada em um arquivo /etc/modprobe.d/ semelhante a isto:
options nf_conntrack hashsize=XXXXX