Você pode definir os valores temporários com ulimit -u <value>
Ou permanentemente em /etc/security/limits.conf com linhas como
* hard nproc 64000
* soft nproc 64000
Ou o mesmo em um arquivo conf em /etc/security/limits.d, ex. /etc/security/limits.d/90-nproc.conf se você quiser.
Em vez de configurá-lo para todos os usuários (*), você pode fazer isso apenas para o usuário que está iniciando seus processos, para que outros usuários não consigam obter tantos recursos em seu sistema.