Parece que você pode definir os limites de um pid em execução usando:
echo -n "Max processes=20000:191967" > /proc/'pidof mysqld'/limits
Isso resolve o problema imediato, mas se eu reiniciar o MySQL eu precisaria redefinir os limites (a menos que eu adicione isso ao script de inicialização), o que parece ser uma dor.