Como observado em meu comentário, a única maneira conhecida é alterar o código do kernel.
Você encontra o limite dentro de limits.h .
Como houve algumas atualizações no kernel, pode ser possível diminuir esse limite com algum arquivo de configuração, por exemplo, com a ajuda do PAM.