PuppetDB: Falha ao enviar o comando 'replace facts'

Question

Eu recentemente revoguei / limpei um certificado de agente Puppet, e isso parece ter efeitos negativos no PuppetDB. Vejo que um bug foi arquivado aqui com algumas instruções para corrigir o problema. Um usuário teve um problema semelhante aqui , mas nada disso está funcionando para mim.

O servidor está executando o CentOS 6.2, o Puppet 2.7.13 e o Puppet DB 0.9. O erro é:

root@harp:/etc/puppetdb/ssl> puppet agent --test
err: Cached facts for harp failed: Failed to find facts from PuppetDB at harp.mydomain.com:8081: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed.  This is often because the time is out of sync on the server or client
info: Loading facts in /etc/puppet/modules/dns/lib/facter/datacenter.rb
info: Caching facts for harp
err: Could not send report: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed.  This is often because the time is out of sync on the server or client
err: Could not run Puppet configuration client: Could not retrieve local facts: Failed to submit 'replace facts' command for harp to PuppetDB at harp.mydomain.com:8081: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed.  This is often because the time is out of sync on the server or client

O NTP está funcionando corretamente pelo que vejo e o datetime parece ser bom. "harp" é na verdade o servidor master de fantoches, então não deve haver um problema com o tempo entre o agente e o servidor aqui, já que eles são iguais.

Certificado antigo:

root@harp:/etc/puppetdb/ssl> puppet cert list --all
+ harp  (DF:8F:65:36:58:4C:DE:66:2B:65:D1:E6:18:B7:F2:33)

Limpe e gere novo certificado para agente:

root@harp:/etc/puppetdb/ssl> puppet cert clean harp
notice: Revoked certificate with serial 18
notice: Removing file Puppet::SSL::Certificate harp at '/var/lib/puppet/ssl/ca/signed/harp.pem'
notice: Removing file Puppet::SSL::Certificate harp at '/var/lib/puppet/ssl/certs/harp.pem'
notice: Removing file Puppet::SSL::CertificateRequest harp at '/var/lib/puppet/ssl/certificate_requests/harp.pem'
notice: Removing file Puppet::SSL::Key harp at '/var/lib/puppet/ssl/private_keys/harp.pem'

root@harp:/etc/puppetdb/ssl> puppet agent --test
info: Creating a new SSL key for harp
warning: peer certificate won't be verified in this SSL session
warning: peer certificate won't be verified in this SSL session
info: Creating a new SSL certificate request for harp
info: Certificate Request fingerprint (md5): 72:5E:99:6A:DE:B0:76:BD:1A:7D:FD:DC:A9:E8:71:AD
warning: peer certificate won't be verified in this SSL session
warning: peer certificate won't be verified in this SSL session
warning: peer certificate won't be verified in this SSL session
Exiting; no certificate found and waitforcert is disabled

root@harp:/etc/puppetdb/ssl> puppet cert list
  harp (72:5E:99:6A:DE:B0:76:BD:1A:7D:FD:DC:A9:E8:71:AD)

root@harp:/etc/puppetdb/ssl> puppet cert sign harp
notice: Signed certificate request for harp
notice: Removing file Puppet::SSL::CertificateRequest harp at '/var/lib/puppet/ssl/ca/requests/harp.pem'

root@harp:/etc/puppetdb/ssl> puppet cert list --all
+ harp  (4A:D4:90:87:15:1B:D3:FD:A8:15:D9:C0:FB:08:5C:79)

root@harp:/etc/puppetdb/ssl> service puppetdb restart
Stopping puppetdb: /etc/init.d/puppetdb: line 77: kill: (8623) - No such process
                                                           [FAILED]
Starting puppetdb:                                         [  OK  ]

OK, reinicie novamente para uma boa medida:

root@harp:/etc/puppetdb/ssl> service puppetdb restart
Stopping puppetdb:                                         [  OK  ]
Starting puppetdb:                                         [  OK  ]

Execute o script de configuração SSL

root@harp:/etc/puppetdb/ssl> /usr/sbin/puppetdb-ssl-setup
cp: cannot stat '/var/lib/puppet/ssl/certs/harp.pem': No such file or directory

root@harp:/etc/puppetdb/ssl> ls -la /var/lib/puppet/ssl/certs
total 12
drwxr-xr-x 2 puppet root 4096 Jun 19 07:19 ./
drwxrwx--x 8 puppet root 4096 Apr 24 10:04 ../
-rw-r--r-- 1 puppet root 1854 Apr 24 10:04 ca.pem

OK, tente novamente para uma boa medida:

root@harp:/etc/puppetdb/ssl> /usr/sbin/puppetdb-ssl-setup
Certificate was added to keystore
Usage: pkcs12 [options]
where options are
-export       output PKCS12 file
-chain        add certificate chain
-inkey file   private key if not infile
-certfile f   add all certs in f
-CApath arg   - PEM format directory of CA's
-CAfile arg   - PEM format file of CA's
-name "name"  use name as friendly name
-caname "nm"  use nm as CA friendly name (can be used more than once).
-in  infile   input filename
...snip...
-CSP name     Microsoft CSP name
-LMK          Add local machine keyset attribute to private key

Não parece que os keystores em / etc / puppetdb / ssl tenham sido alterados / regenerados. Neste ponto, executar puppet agent --test resulta nos mesmos erros e reiniciar o fantoche e o puppetdb não ajuda.

Informações sobre keystore:

root@harp:/etc/puppetdb/ssl> keytool -list -keystore /etc/puppetdb/ssl/keystore.jks
Enter keystore password:

Keystore type: JKS
Keystore provider: SUN

Your keystore contains 1 entry

harp.mydomain.com, May 25, 2012, PrivateKeyEntry,
Certificate fingerprint (MD5): 06:A8:D3:2A:70:F3:6D:34:62:91:45:22:8A:C4:A8:86
root@harp:/etc/puppetdb/ssl> keytool -list -keystore /etc/puppetdb/ssl/truststore.jks
Enter keystore password:

Keystore type: JKS
Keystore provider: SUN

Your keystore contains 1 entry

puppetdb ca, May 25, 2012, trustedCertEntry,
Certificate fingerprint (MD5): 13:AD:D8:BC:42:40:47:BB:D2:5C:ED:3C:D1:78:26:88
root@harp:/etc/puppetdb/ssl> puppet cert --fingerprint ca harp.mydomain.com
ca 13:AD:D8:BC:42:40:47:BB:D2:5C:ED:3C:D1:78:26:88
err: Could not call fingerprint: Could not find a certificate or csr for harp.mydomain.com

root@harp:/etc/puppetdb/ssl> puppet cert --fingerprint ca harp
ca 13:AD:D8:BC:42:40:47:BB:D2:5C:ED:3C:D1:78:26:88
harp 4A:D4:90:87:15:1B:D3:FD:A8:15:D9:C0:FB:08:5C:79

Como posso fazer com que o keystore puppetdb seja realmente regenerado? Eu tentei excluir os arquivos em / etc / puppetdb / ssl /, mas sem sorte.

    

Answer 1

Eu entendi, mas não posso dizer exatamente quais etapas foram necessárias ou não.

Esse problema começou porque a autenticação em vários hosts era lenta ou interrompida e parecia estar relacionada a problemas de cache do controlador de domínio / DNS. Removendo domain mydomain.com entrada de /etc/resolv.conf no mestre de bonecos e agentes resolveu o problema, mas isso criou problemas com os certificados de fantoches existentes. Eu executei puppet cert clean --all no master para tentar recriar todos os certs, mas isso não funcionou bem com o PuppetDB.

Solução

Limpe os antigos certificados do mestre:

puppet cert clean --all

Limpe antigos certificados em todos os agentes:

rm -rf /var/lib/puppet/ssl

Recrie os keystores do PuppetDB:

facter fqdn não está disponível depois de remover domain foo.com de /etc/resolv.conf . Isso faz com que puppetdb-ssl-setup falhe silenciosamente.

Edite /usr/sbin/puppetdb-ssl-setup , adicione um trecho de código para usar apenas facter hostname se facter fqdn estiver vazio:

# near line 10
fqdn='facter fqdn'
# add this "if" section
if [ ! -n "$fqdn" ] ; then
  fqdn='facter hostname'
fi

Correção de permissões:

chown -R puppetdb:puppetdb /etc/puppetdb/ssl

Atualize as senhas em /etc/puppetdb/conf.d/jetty.ini com a nova senha keystore / truststore (mesma passagem), da qual você pode obter:

cat /etc/puppetdb/ssl/puppetdb_keystore_pw.txt

Reinicie o puppetdb

service puppetdb restart

Em seguida, vá a cada agente e solicite novos certificados e assine cada um no mestre.

    

Answer 2

Isso também acontece quando as configurações de memória do puppetdb são muito baixas.

vim /etc/default/puppetdb

Edite a linha

JAVA_ARGS="-Xmx192m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/var/log/puppetdb/puppetdb-oom.hprof -Djava.security.egd=file:/dev/urandom"

deve se tornar

JAVA_ARGS="-Xmx1024m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/var/log/puppetdb/puppetdb-oom.hprof -Djava.security.egd=file:/dev/urandom"

e reinicie o puppetdb

sudo service puppetdb restart

    

Answer 3

Teve um problema semelhante. Solução:

1.) remover o arquivo pid pe-puppetdb no master 2.) pare o serviço pe-puppetdb no master 3.) inicie o serviço pe-puppetdb no master aguarde 30 segundos.