O servidor do Spidering trava o site

Question

Eu tenho um servidor que está me dando o servidor MySQL desapareceu / conexão timeout / conexão recusou erros quando está sendo rastreado. Ele também parece diminuir muito nos horários de pico quando há um número de usuários no servidor. Eu tenho uma instalação do Magento Enterprise neste servidor. Eu estou querendo saber isso pode ser um problema com conexões persistentes ou possivelmente algo de errado com algumas das minhas configurações no my.conf?

Aqui estão algumas informações no meu servidor:

Processor #1
    Vendor
        GenuineIntel
    Name
        QEMU Virtual CPU version (cpu64-rhel6)
    Speed
        2127.998 MHz
    Cache
        4096 KB

Processor #2
    Vendor
        GenuineIntel
    Name
        QEMU Virtual CPU version (cpu64-rhel6)
    Speed
        2127.998 MHz
    Cache
        4096 KB

Processor #3
    Vendor
        GenuineIntel
    Name
        QEMU Virtual CPU version (cpu64-rhel6)
    Speed
        2127.998 MHz
    Cache
        4096 KB

Processor #4
    Vendor
        GenuineIntel
    Name
        QEMU Virtual CPU version (cpu64-rhel6)
    Speed
        2127.998 MHz
    Cache
        4096 KB

RAM
    10GB

HDD
    200GB

Aqui está o meu my.conf:

[mysqld]
thread_concurrency=4
thread_cache_size=64
wait_timeout = 400
table_cache=2048
query_cache_type=1
query_cache_size=512M
query_cache_limit=512M
key_buffer_size=256M
max_allowed_packet=32M
max_connections=1000
tmp_table_size=1024M
max_heap_table_size=1024M
table_definition_cache=4000 
table_open_cache=4000
open_files_limit=65535
sort_buffer_size=1M
read_buffer_size=1M
join_buffer_size=16M

innodb_thread_concurrency=0
innodb_file_per_table=1
innodb_buffer_pool_size=4G
innodb_lock_wait_timeout=300
innodb_flush_log_at_trx_commit=1
innodb_additional_mem_pool_size=24M

tmpdir=/mysqltmp

log_error=/var/log/mysql/mysql-error.log
log_queries_not_using_indexes=1
slow_query_log_file=/var/lib/mysql/mysql-slow.log 

No momento desses erros, os recursos do servidor são os seguintes (de Munin):

CPU = 395%
RAM (apps) = approx 6gb
I/O Stat (read/write) = approx -10k/10k

    

Answer 1

Parece que as aranhas estão sobrecarregando você. Use mysqltuner para verificar sua configuração do mysql.

Configure seu banco de dados para que não use mais de 60% da RAM do sistema.

Com base nas informações atuais que você publicou, diminua:

query_cache_size = (Eu começaria com 64M)

query_cache_limit = (eu começaria com 1M)

wait_timeout = 400 ?! Igual este valor ao seu tempo limite do Apache E pense em um usuário esperando 300 segundos para que você possa atendê-los;) (Eu começaria a transformar o mysql e o apache em 30 segundos).

aumenta o open_files_limit se você tiver muitas tabelas (especialmente myisam) e não se esqueça seu sistema limits.conf

Se a redução de buffers não ajudar, você também pode limitar spiders com iptables:)