Centos diminui aleatoriamente

Question

Eu encontrei isso duas vezes, a primeira vez que achei que era apenas uma coisa aleatória, então coloquei a investigação em espera até que eu a encontrasse novamente hoje.

Resumo:

• Centos 5.7, sendmail 8.13.8
• Alto uso da CPU por crond e sendmail (entre 25% a 100% cada)
• IO de disco super lento (ssh funciona bem até que haja operações de disco IO, como um simples ls -la)
• 'df -h' me deu um uso de disco de 900G na minha montagem principal (cerca de 50% do meu espaço total), não consegui rastrear qual pasta estava usando todo o espaço, pois o disco estava sendo executado realmente lentamente (levou 30s para retornar um uso de 17M para uma pasta)

O que tentei fazer:

• Mate o sendmail, o crond e qualquer processo PHP que esteja consumindo mais do que a quantidade normal de CPU
• shutdown httpd, sendmail, mysqld (todos demoraram 1-5min para serem desligados)

Resultados:

• Não é possível matar o processo do sendmail, ele continua aparecendo no topo com TEMPO de 600minutos + (eu só descobri que houve um problema quando acordei)

Nenhum desses funcionou, então de repente, do nada, enquanto eu estava examinando logs (muito lentamente ...), ele voltou à velocidade normal novamente.

a duh revelou que o 900G de uso se foi e volta para 19G (que é o que deve estar em), e o processo do sendmail é inutilizável agora ...

Não sei ao certo por onde começar a investigar esse problema estranho, portanto, se alguém puder compartilhar algumas dicas ou esclarecer possíveis causas, isso será fabuloso!

EDIT (2011-11-01):

O único registro que encontrei do processo que matei foi esta linha

Oct 31 11:43:08 localhost sendmail[23302]: p9UIT2SB023302: from=[removed, it was not an email address though], size=1152544132509, class=0, nrcpts=1, relay=[removed]@localhost

Quanto ao cronjobs, eu tenho 2 atualmente em execução, ambos são scripts php que eu corro uma vez por minuto e uma vez por hora, respectivamente.

Editar 2 (2011-11-01):

Espere um segundo ... o tamanho é 1152544132509 (cerca de 1TB) ... Eu acho que é o que levou o espaço ... Agora eu tenho que encontrar o que enviou esse email. Alguma sugestão de como posso encontrar o culpado?

Editar 3 (2011-11-03):

Descobri que eu tinha mais de 10k tentativas de login SSH não autorizadas ... talvez o servidor tenha sido invadido por uma tentativa de invasão em outro lugar ... Vou desligar o login SSH com senha e garantir que as chaves autorizadas sejam realmente permitidas aqueles ...

Eu também instalei o denyhosts para bloquear automaticamente quaisquer novos ataques de força bruta.