Parece que talvez as conexões não estejam sendo limpas em tempo hábil. "show processlist" deve mostrar as conexões, se for o caso. Olhando para a documentação do MySQL, parece que isso pode ser comum com o PHP, a menos que certos parâmetros do PHP sejam ajustados. Você pode consultar o artigo e os comentários no link
Outra possibilidade trazida pelas conexões TCP muito lentas é que o MySQL (ou tcpwrappers) está tentando fazer uma busca por nome de host para acesso e a busca é lenta. Isso parece improvável ao usar soquetes unix, mas caso ele esteja tentando corresponder a hosts locais ou nomes de host do sistema, pode ser interessante verificar se alguma regra de acesso pode ser movida para IP ou removida.