Encontrei uma solução. Eu estava olhando tudo errado. O nginx não estava dando erros. Foi o cliente do Ubuntu onde eu estava rodando ab que estava dando um erro. O servidor estava bem.
Solução (a ser executada no cliente, ou seja, a máquina em que você está executando ab:
sudo su
esta é a raiz
ulimit -n 20000
isto é para permitir mais de 10000 conexões. Eu escolhi 20000 aleatoriamente.
Observe que essas não são configurações permanentes e serão redefinidas depois que você reinicializar.
Confira abaixo o post para mais alguns ajustes no lado do cliente -