Eu tive um problema semelhante com o Tomcat 6 e o Java 6, mas meu /etc/security/limits.conf se parece com
tomcat soft nproc 2047
tomcat hard nproc 16384
tomcat soft nofile 1024
tomcat hard nofile 65536
Em que tomcat
é o serviço do usuário tomcat executado como.