Estou tendo um problema em um de nossos servidores de produção, em que as tentativas de login se tornam progressivamente mais lentas com o passar do tempo. Após aproximadamente 5 dias, ele fica tão lento que alguns processos críticos / entradas do cron não são disparados corretamente.
Informação do servidor:
Hardware: Dell R720 24 GB Memory 2 x Intel Xeon E502620 v2 Processors (24 cores total, including HyperThreading) 8 x 300GB 10K SAS Drives
OS: Red Hat Enterprise Linux 6.5
Eu experimentei problemas de login via SSH e comecei a percorrer uma longa estrada de investigação de "red herrings". Eventualmente, notei que mesmo fazendo o seguinte demorou muito:
[someuser#hostname] su -
Password:
Ao executar o comando 'su -' como acima, ele não deve envolver o SSH de nenhuma forma, já que estou apenas tentando autenticar na própria caixa, certo?
Isso aconteceu 3 semanas seguidas na mesma caixa e é a primeira vez que notei (e testei devo acrescentar) que os logons locais também são lentos.
Quando eu faço o login pelo console, parece o seguinte:
hostname login: user
Password: # I enter the password and hit [enter]
Um longo tempo passa e depois ...
[user@hostname ~] $
Quando eu faço o login via SSH, ele se parece com o seguinte (verbosity ligado e fazendo um login localhost):
[user@hostname ~]$ ssh -v root@localhost
OpenSSH_5.3p1, OpenSSL 1.0.0-fips 29 Mar 2010
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: Applying options for *
debug1: Connecting to localhost [127.0.0.1] port 22.
debug1: Connection established.
debug1: identity file /usr/local/user/.ssh/identity type -1
debug1: identity file /usr/local/user/.ssh/identity-cert type -1
debug1: identity file /usr/local/user/.ssh/id_rsa type -1
debug1: identity file /usr/local/user/.ssh/id_rsa-cert type -1
debug1: identity file /usr/local/user/.ssh/id_dsa type -1
debug1: identity file /usr/local/user/.ssh/id_dsa-cert type -1
debug1: Remote protocol version 2.0, remote software version OpenSSH_5.3
debug1: match: OpenSSH_5.3 pat OpenSSH*
debug1: Enabling compatibility mode for protocol 2.0
debug1: Local version string SSH-2.0-OpenSSH_5.3
debug1: SSH2_MSG_KEXINIT sent
debug1: SSH2_MSG_KEXINIT received
debug1: kex: server->client aes128-ctr hmac-md5 none
debug1: kex: client->server aes128-ctr hmac-md5 none
debug1: SSH2_MSG_KEX_DH_GEX_REQUEST(1024<1024<8192) sent
debug1: expecting SSH2_MSG_KEX_DH_GEX_GROUP
debug1: SSH2_MSG_KEX_DH_GEX_INIT sent
debug1: expecting SSH2_MSG_KEX_DH_GEX_REPLY
The authenticity of host 'localhost (127.0.0.1)' can't be established.
RSA key fingerprint is 1d:50:5e:a3:e4:63:d6:1d:d8:2c:85:07:95:81:c8:b6.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
debug1: ssh_rsa_verify: signature correct
debug1: SSH2_MSG_NEWKEYS sent
debug1: expecting SSH2_MSG_NEWKEYS
debug1: SSH2_MSG_NEWKEYS received
debug1: SSH2_MSG_SERVICE_REQUEST sent
debug1: SSH2_MSG_SERVICE_ACCEPT received
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic,password
debug1: Next authentication method: gssapi-keyex
debug1: No valid Key exchange context
debug1: Next authentication method: gssapi-with-mic
debug1: Unspecified GSS failure. Minor code may provide more information
Credentials cache file '/tmp/krb5cc_501' not found
debug1: Unspecified GSS failure. Minor code may provide more information
Credentials cache file '/tmp/krb5cc_501' not found
debug1: Unspecified GSS failure. Minor code may provide more information
debug1: Unspecified GSS failure. Minor code may provide more information
Credentials cache file '/tmp/krb5cc_501' not found
debug1: Next authentication method: publickey
debug1: Trying private key: /usr/local/user/.ssh/identity
debug1: Trying private key: /usr/local/user/.ssh/id_rsa
debug1: Trying private key: /usr/local/user/.ssh/id_dsa
debug1: Next authentication method: password
root@localhost's password:
debug1: Authentication succeeded (password).
debug1: channel 0: new [client-session]
debug1: Requesting [email protected]
debug1: Entering interactive session.
Neste ponto, fica preso por um longo tempo novamente e, eventualmente, faz o login com sucesso.
Todos os ponteiros serão apreciados. Isso está me levando pelas paredes.
O seguinte também aparece na saída do dmesg. Repete para vários nomes de processos (não apenas 'cifsd')
cifsd: page allocation failure. order:5, mode:0x20
Pid: 12913, comm: cifsd Not tainted 2.6.32-431.el6.x86_64 #1
Call Trace:
[<ffffffff8112f9e7>] ? __alloc_pages_nodemask+0x757/0x8d0
[<ffffffff8116e482>] ? kmem_getpages+0x62/0x170
[<ffffffff8116f09a>] ? fallback_alloc+0x1ba/0x270
[<ffffffff8116eaef>] ? cache_grow+0x2cf/0x320
[<ffffffff8116ee19>] ? ____cache_alloc_node+0x99/0x160
[<ffffffff8116ffe0>] ? kmem_cache_alloc_node_trace+0x90/0x200
[<ffffffff811701fd>] ? __kmalloc_node+0x4d/0x60
[<ffffffff8144feca>] ? __alloc_skb+0x7a/0x180
[<ffffffff81450fe0>] ? skb_copy+0x40/0xb0
[<ffffffffa014f57c>] ? tg3_start_xmit+0xa8c/0xd80 [tg3]
[<ffffffff81460354>] ? dev_hard_start_xmit+0x224/0x480
[<ffffffff8147bd0a>] ? sch_direct_xmit+0x15a/0x1c0
[<ffffffff81460858>] ? dev_queue_xmit+0x228/0x320
[<ffffffff8149a0d8>] ? ip_finish_output+0x148/0x310
[<ffffffff8149a358>] ? ip_output+0xb8/0xc0
[<ffffffff8105a924>] ? find_busiest_group+0x244/0x9f0
[<ffffffff81499655>] ? ip_local_out+0x25/0x30
[<ffffffff81499b30>] ? ip_queue_xmit+0x190/0x420
[<ffffffff8112ff2f>] ? free_hot_page+0x2f/0x60
[<ffffffff814aee3e>] ? tcp_transmit_skb+0x40e/0x7b0
[<ffffffff814b1380>] ? tcp_write_xmit+0x230/0xa90
[<ffffffff814b1f00>] ? __tcp_push_pending_frames+0x30/0xe0
[<ffffffff814a9663>] ? tcp_data_snd_check+0x33/0x100
[<ffffffff814ad261>] ? tcp_rcv_established+0x381/0x7f0
[<ffffffff8152873a>] ? schedule_timeout+0x19a/0x2e0
[<ffffffff814b5643>] ? tcp_v4_do_rcv+0x2e3/0x490
[<ffffffff814a130a>] ? tcp_prequeue_process+0x7a/0xa0
[<ffffffff814a4a2c>] ? tcp_recvmsg+0xacc/0xe80
[<ffffffff814c58ca>] ? inet_recvmsg+0x5a/0x90
[<ffffffff8105a625>] ? select_idle_sibling+0x95/0x150
[<ffffffff81449ab3>] ? sock_recvmsg+0x133/0x160
[<ffffffff8109b2a0>] ? autoremove_wake_function+0x0/0x40
[<ffffffff81059216>] ? enqueue_task+0x66/0x80
[<ffffffff8105571d>] ? check_preempt_curr+0x6d/0x90
[<ffffffff81065c5e>] ? try_to_wake_up+0x24e/0x3e0
[<ffffffff81065e02>] ? default_wake_function+0x12/0x20
[<ffffffff8109b2b6>] ? autoremove_wake_function+0x16/0x40
[<ffffffff81449b24>] ? kernel_recvmsg+0x44/0x60
[<ffffffffa01fd7c9>] ? cifs_readv_from_socket+0x1a9/0x260 [cifs]
[<ffffffffa020b11d>] ? cifs_add_credits+0x5d/0x70 [cifs]
[<ffffffffa01fd8a7>] ? cifs_read_from_socket+0x27/0x30 [cifs]
[<ffffffffa01fda03>] ? cifs_demultiplex_thread+0x153/0xe10 [cifs]
[<ffffffff81065e02>] ? default_wake_function+0x12/0x20
[<ffffffffa01fd8b0>] ? cifs_demultiplex_thread+0x0/0xe10 [cifs]
[<ffffffff8109aef6>] ? kthread+0x96/0xa0
[<ffffffff8100c20a>] ? child_rip+0xa/0x20
[<ffffffff8109ae60>] ? kthread+0x0/0xa0
[<ffffffff8100c200>] ? child_rip+0x0/0x20
Encontrou o problema (graças a este post link )
O problema está no arquivo /etc/profile.d/zzzz-vamilocale.sh, que está tentando ler algo das propriedades da vm e ficou preso nele. remover esses arquivos resolve o problema.
Minha maneira de depurar este problema: 1. faça o login como usuário problemático 2. invoque "bash --login --verbose" 3. Descubra a linha, que interrompe as execuções 4. Encontre esta linha em um arquivo de /etc/profile.d /
Conforme você diminui o após o login , tecnicamente, é necessário verificar o que pode acontecer entre o login e o primeiro prompt do shell .
Uma configuração personalizada do shell pode fazer muitas coisas criativas que podem falhar de formas infelizes sob algumas condições especiais -
>
como no login antes de entrar no modo interativo,
ou enquanto o DISPLAY ainda não está definido.
Nesse caso, procuramos coisas que bloqueiam e tempo limite ou coisas lentas -
como a automontagem cartoon-esque de todos os diretórios home,
de todos os funcionários presentes e passados.
Exceto seus próprios , é claro.
Isso já foi montado.
Parece ruim?
Não. É fácil de encontrar e divertido para a maioria.
O tempo após o login, até antes de mostrar o shell, é usado por qualquer tarefa de manutenção, isso irá atrasá-lo. Mas as tarefas de manutenção são executadas apenas esporadicamente. E, claro, eles não são executados todos juntos de uma só vez, como todas as semanas no primeiro login depois da segunda-feira às 8:00 - porque isso seria lento, certo?
Existem muitas coisas inesperadas
O ponto ilustrado é que pode acontecer muito depois do login, antes de mostrar o shell.
Uma classe de problemas que eu vi lento no login no Ubuntu está gerando a mensagem do dia - motd.
Este é o texto mostrado antes do primeiro prompt no login.
Pode estar vazio ou apenas uma simples saudação.
Dê uma olhada em ls -l /etc/update-motd.d
$ ls -l /etc/update-motd.d
total 28
-rwxr-xr-x 1 root root 1220 Jul 3 2012 00-header
-rwxr-xr-x 1 root root 1358 Jul 3 2012 10-help-text
-rwxr-xr-x 1 root root 149 Mar 19 2012 90-updates-available
-rwxr-xr-x 1 root root 147 Aug 8 2012 91-release-upgrade
-rwxr-xr-x 1 root root 142 Mar 19 2012 98-fsck-at-reboot
-rwxr-xr-x 1 root root 144 Mar 19 2012 98-reboot-required
-rwxr-xr-x 1 root root 1158 Jul 3 2012 99-footer
Especialmente 90-updates-available parece ser muito lento de vez em quando neste exemplo - portanto, verifique o que você encontra lá e, possivelmente, desative alguns testes, movendo-os para /etc/update-motd.d.disabled .
Como uma maneira geral de investigar uma autenticação lenta, verifique /etc/pam.conf e /etc/pam.d/su (e /etc/pam.d/sshd etc.) para ver que tipo de autenticação os serviços de login executam. Verifique os logs do sistema para ver se alguma coisa está registrada (procure por entradas de registro que datam do momento da autenticação).
No seu caso, são os logs do kernel que revelam o problema. As mensagens de “falha de alocação de página” indicam que seu sistema está sem memória virtual. Mate alguns programas ou aumente o espaço de troca.
Verifique se o seu SElinux está em modo imposto.
se sestatus mostrar que o modo atual é modo imposto Desligue por " setenforce 0 "