Você está no caminho certo, mas em alguns sistemas operacionais mais recentes (por exemplo, o CentOS 6), há um:
/etc/security/limits.d/
Isso substituirá os itens colocados no limits.conf.
Eu recomendo colocar um arquivo numérico maior (por exemplo, 99-mysql.conf) aqui com seus limites.
Para mais Veja: link