Openstack 14.04 Os serviços da JUJU falham principalmente após a atualização

Question

Já faz alguns meses desde que comecei a construir minha nuvem openstack e contra o meu melhor julgamento, eu corri sudo apt-get update ; sudo apt-get upgrade em meus nós. Má ideia.

Tudo parecia normal na reinicialização, o nagios não reporta nenhum serviço com problemas, no entanto, quando eu iniciei minhas instâncias, nenhum deles conseguiu um IP. Então, quando comecei a investigar em nêutrons, vejo na JUJU toneladas de erros. Eu não tenho certeza de onde começar realmente.

Quando os nós foram atualizados, eles me perguntaram sobre algumas alterações de configuração, eu escolhi (N) para qualquer modificação. Eu estou supondo que é o problema?

landscape@juju-machine-0-lxc-1:~$ juju status --format=tabular
[Services]            
NAME                  STATUS  EXPOSED CHARM                                           
base-machine          error   false   cs:trusty/ubuntu-6                              
ceilometer            active  false   cs:trusty/ceilometer-171                        
ceilometer-agent              false   cs:trusty/ceilometer-agent-167                  
ceph-mon              active  false   cs:~openstack-charmers-next/trusty/ceph-mon-137 
ceph-osd              active  false   cs:trusty/ceph-osd-169                          
ceph-radosgw          active  false   cs:trusty/ceph-radosgw-173                      
cinder                error   false   cs:trusty/cinder-188                            
glance                active  false   cs:trusty/glance-185                            
keystone              active  false   cs:trusty/keystone-253                          
landscape-client              false   cs:trusty/landscape-client-12                   
mongodb               unknown false   cs:trusty/mongodb-35                            
mysql                 active  false   cs:trusty/percona-cluster-178                   
nagios                unknown false   cs:trusty/nagios-10                             
neutron-api           active  false   cs:trusty/neutron-api-177                       
neutron-gateway       error   false   cs:trusty/neutron-gateway-163                   
neutron-openvswitch           false   cs:trusty/neutron-openvswitch-169               
nova-cloud-controller active  false   cs:trusty/nova-cloud-controller-220             
nova-compute          error   false   cs:trusty/nova-compute-190                      
nrpe                          false   cs:trusty/nrpe-7                                
ntp                           false   cs:trusty/ntp-15                                
ntpmaster             unknown false   cs:trusty/ntpmaster-2                           
openstack-dashboard   active  false   cs:trusty/openstack-dashboard-175               
rabbitmq-server       error   false   cs:trusty/rabbitmq-server-43                    

[Units]                 
ID                      WORKLOAD-STATE AGENT-STATE VERSION MACHINE PORTS                                   PUBLIC-ADDRESS MESSAGE                       
base-machine/0          error          idle        1.25.6  0                                               node01.maas    hook failed: "leader-elected" 
  landscape-client/0    unknown        idle        1.25.6                                                  node01.maas                                  
  ntp/0                 unknown        idle        1.25.6                                                  node01.maas                                  
base-machine/1          unknown        idle        1.25.6  2                                               node02.maas                                  
  landscape-client/9    unknown        idle        1.25.6                                                  node02.maas                                  
  ntp/1                 error          idle        1.25.6                                                  node02.maas    hook failed: "leader-elected" 
base-machine/2          unknown        idle        1.25.6  1                                               node03.maas                                  
  landscape-client/10   unknown        idle        1.25.6                                                  node03.maas                                  
  ntp/2                 unknown        idle        1.25.6                                                  node03.maas                                  
ceilometer/0            active         idle        1.25.6  0/lxc/2 8777/tcp                                10.14.0.47     Unit is ready                 
  landscape-client/5    unknown        idle        1.25.6                                                  10.14.0.47                                   
  nrpe/4                unknown        idle        1.25.6                                                  10.14.0.47                                   
ceph-mon/0              active         idle        1.25.6  0/lxc/4                                         10.14.0.53     Unit is ready and clustered   
  landscape-client/2    unknown        idle        1.25.6                                                  10.14.0.53                                   
  nrpe/1                unknown        idle        1.25.6                                                  10.14.0.53                                   
ceph-mon/1              active         idle        1.25.6  2/lxc/4                                         10.14.0.60     Unit is ready and clustered   
  landscape-client/14   unknown        idle        1.25.6                                                  10.14.0.60                                   
  nrpe/10               unknown        idle        1.25.6                                                  10.14.0.60                                   
ceph-mon/2              active         idle        1.25.6  1/lxc/0                                         10.14.0.62     Unit is ready and clustered   
  landscape-client/19   unknown        idle        1.25.6                                                  10.14.0.62                                   
  nrpe/13               unknown        idle        1.25.6                                                  10.14.0.62                                   
ceph-osd/0              active         idle        1.25.6  0                                               node01.maas    Unit is ready (2 OSD)         
  landscape-client/1    unknown        idle        1.25.6                                                  node01.maas                                  
  nrpe/0                unknown        idle        1.25.6                                                  node01.maas                                  
ceph-osd/1              active         idle        1.25.6  2                                               node02.maas    Unit is ready (5 OSD)         
  landscape-client/11   unknown        idle        1.25.6                                                  node02.maas                                  
  nrpe/8                unknown        idle        1.25.6                                                  node02.maas                                  
ceph-osd/2              active         idle        1.25.6  1                                               node03.maas    Unit is ready (5 OSD)         
  landscape-client/12   unknown        idle        1.25.6                                                  node03.maas                                  
  nrpe/9                error          idle        1.25.6                                                  node03.maas    hook failed: "config-changed" 
ceph-radosgw/0          active         idle        1.25.6  2/lxc/0 80/tcp                                  10.14.0.56     Unit is ready                 
  landscape-client/16   unknown        idle        1.25.6                                                  10.14.0.56                                   
cinder/0                error          idle        1.25.6  1/lxc/2                                         10.14.0.64     hook failed: "update-status"  
  landscape-client/22   unknown        idle        1.25.6                                                  10.14.0.64                                   
  nrpe/16               unknown        idle        1.25.6                                                  10.14.0.64                                   
glance/0                active         idle        1.25.6  0/lxc/5 9292/tcp                                10.14.0.54     Unit is ready                 
  landscape-client/4    unknown        idle        1.25.6                                                  10.14.0.54                                   
  nrpe/3                unknown        idle        1.25.6                                                  10.14.0.54                                   
keystone/0              active         idle        1.25.6  2/lxc/2                                         10.14.0.58     Unit is ready                 
  landscape-client/18   unknown        idle        1.25.6                                                  10.14.0.58                                   
  nrpe/12               unknown        idle        1.25.6                                                  10.14.0.58                                   
mongodb/0               unknown        idle        1.25.6  1/lxc/3 27017/tcp,27019/tcp,27021/tcp,28017/tcp 10.14.0.65                                   
  landscape-client/20   unknown        idle        1.25.6                                                  10.14.0.65                                   
  nrpe/14               unknown        idle        1.25.6                                                  10.14.0.65                                   
mysql/0                 active         idle        1.25.6  0/lxc/1                                         10.14.0.50     Unit is ready                 
  landscape-client/7    unknown        idle        1.25.6                                                  10.14.0.50                                   
  nrpe/6                unknown        idle        1.25.6                                                  10.14.0.50                                   
nagios/0                unknown        idle        1.25.6  2/lxc/3 80/tcp                                  10.14.0.59                                   
  landscape-client/15   unknown        idle        1.25.6                                                  10.14.0.59                                   
neutron-api/0           active         idle        1.25.6  1/lxc/4 9696/tcp                                10.14.0.66     Unit is ready                 
  landscape-client/23   unknown        idle        1.25.6                                                  10.14.0.66                                   
  nrpe/17               unknown        idle        1.25.6                                                  10.14.0.66                                   
neutron-gateway/0       error          idle        1.25.6  0                                               node01.maas    hook failed: "config-changed" 
  landscape-client/6    unknown        idle        1.25.6                                                  node01.maas                                  
  nrpe/5                unknown        idle        1.25.6                                                  node01.maas                                  
nova-cloud-controller/0 active         idle        1.25.6  0/lxc/0 3333/tcp,8773/tcp,8774/tcp,9696/tcp     10.14.0.49     Unit is ready                 
  landscape-client/8    unknown        idle        1.25.6                                                  10.14.0.49                                   
  nrpe/7                unknown        idle        1.25.6                                                  10.14.0.49                                   
nova-compute/0          error          idle        1.25.6  2                                               node02.maas    hook failed: "update-status"  
  ceilometer-agent/0    active         idle        1.25.6                                                  node02.maas    Unit is ready                 
  landscape-client/17   unknown        idle        1.25.6                                                  node02.maas                                  
  neutron-openvswitch/0 active         idle        1.25.6                                                  node02.maas    Unit is ready                 
  nrpe/11               unknown        idle        1.25.6                                                  node02.maas                                  
nova-compute/1          error          idle        1.25.6  1                                               node03.maas    hook failed: "update-status"  
  ceilometer-agent/1    active         idle        1.25.6                                                  node03.maas    Unit is ready                 
  landscape-client/21   unknown        idle        1.25.6                                                  node03.maas                                  
  neutron-openvswitch/1 active         idle        1.25.6                                                  node03.maas    Unit is ready                 
  nrpe/15               unknown        idle        1.25.6                                                  node03.maas                                  
ntpmaster/0             unknown        idle        1.25.6  2/lxc/1 123/udp                                 10.14.0.57                                   
  landscape-client/13   unknown        idle        1.25.6                                                  10.14.0.57                                   
openstack-dashboard/0   active         idle        1.25.6  1/lxc/1 80/tcp,443/tcp                          10.14.0.63     Unit is ready                 
  landscape-client/24   unknown        idle        1.25.6                                                  10.14.0.63                                   
  nrpe/18               unknown        idle        1.25.6                                                  10.14.0.63                                   
rabbitmq-server/0       error          idle        1.25.6  0/lxc/3 5672/tcp                                10.14.0.52     hook failed: "update-status"  
  landscape-client/3    unknown        idle        1.25.6                                                  10.14.0.52                                   
  nrpe/2                unknown        idle        1.25.6                                                  10.14.0.52                                   

[Machines] 
ID         STATE   VERSION DNS         INS-ID                                                         SERIES HARDWARE                          
0          started 1.25.6  node01.maas /MAAS/api/1.0/nodes/node-be8673ca-1d31-11e6-a83b-0015c5efa6ff/ trusty arch=amd64 cpu-cores=8 mem=32768M 
1          started 1.25.6  node03.maas /MAAS/api/1.0/nodes/node-b672c22e-1d31-11e6-82b6-0015c5efa6ff/ trusty arch=amd64 cpu-cores=8 mem=32768M 
2          started 1.25.6  node02.maas /MAAS/api/1.0/nodes/node-ba12aac0-1d31-11e6-89e9-0015c5efa6ff/ trusty arch=amd64 cpu-cores=8 mem=32768M 

    

Answer 1

Se um cluster do OpenStack estiver inativo e várias unidades de encanto forem exibidas em um estado erro ou bloqueado , execute as etapas a seguir para restaurar o cluster.

1. Garanta a conectividade entre os nós e a internet.
   • A conectividade com a Internet é necessária, pois os ganchos serão executados novamente quando as unidades forem resolvidas. A maioria dos ganchos de charme executam comandos como apt-get update , que exigem conectividade com a Internet.
   • Se os comandos juju estiverem travados, reinicie o nó juju controller / bootstrap ou reinicie os serviços juju- * nesse nó.
   • Se você estiver enfrentando erros de "agente perdido", reinicie o serviço jujud-unit-charm-name-unit dentro desses nós / contêineres.

2. Resolva as unidades de charme em um estado de erro.

   • $ juju resolvido --retry charme-nome / unidade

     Isso executará novamente os ganchos que falharam inicialmente. Resolva as unidades de charme na seguinte ordem:

     1. mysql
     2. keystone
     3. rabbitmq-server
     4. ceph
     5. swift
     6. nova-cloud-controller
     7. cinder
     8. relance
     9. neutrôni-api
     10. gateway de neutrões
     11. nova-compute
     12. painel openstack

   • Caso a resolução das unidades não ajude, consulte os registros do juju para ver qual é o erro e tente resolvê-lo manualmente. Certifique-se de ter todas as unidades em um estado ativo.

3. Confirme se o cluster está em backup

   • Faça o login no horizonte e verifique se todos os serviços estão ativos
   • Inicie todas as instâncias do OpenStack e assegure-se de que os volumes e a rede tenham sido provisionados corretamente.