ceph-mon falha ao iniciar no rasberry pi (raspbian 8.0)

Question

O ceph-mon não inicia no rasberry pi (raspbian 8.0)

Comprei recentemente 3 nós pi de framboesa para criar um pequeno cluster de armazenamento para testar em minha casa. Eu encontrei alguns procedimentos para configurar isso, então parece que as pessoas fizeram com sucesso este !

Estou executando o Raspbian GNU / Linux 8.0 (jessie). Estou usando o ceph-deploy para instalar o cluster e parece instalar a versão 10.2.5-7.2 + rpi1 dos pacotes ceph ARM.

Quando tento iniciar o serviço ceph-mon, recebo o seguinte erro do systemd:

Dec 14 19:59:46 ceph-master systemd[1]: Starting Ceph cluster monitor daemon...
Dec 14 19:59:46 ceph-master systemd[1]: Started Ceph cluster monitor daemon.
Dec 14 19:59:47 ceph-master ceph-mon[28237]: *** Caught signal (Segmentation fault) **
Dec 14 19:59:47 ceph-master ceph-mon[28237]: in thread 756a5c30 thread_name:admin_socket
Dec 14 19:59:47 ceph-master systemd[1]: [email protected]: main process exited, code=killed, status=11/SEGV
Dec 14 19:59:47 ceph-master systemd[1]: Unit [email protected] entered failed state.
Dec 14 19:59:47 ceph-master systemd[1]: [email protected] holdoff time over, scheduling restart.
Dec 14 19:59:47 ceph-master systemd[1]: Stopping Ceph cluster monitor daemon...
Dec 14 19:59:47 ceph-master systemd[1]: Starting Ceph cluster monitor daemon...
Dec 14 19:59:47 ceph-master systemd[1]: Started Ceph cluster monitor daemon.
Dec 14 19:59:49 ceph-master ceph-mon[28256]: *** Caught signal (Segmentation fault) **
Dec 14 19:59:49 ceph-master ceph-mon[28256]: in thread 75654c30 thread_name:admin_socket
Dec 14 19:59:49 ceph-master ceph-mon[28256]: ceph version 10.2.5 (c461ee19ecbc0c5c330aca20f7392c9a00730367)
Dec 14 19:59:49 ceph-master ceph-mon[28256]: 1: (()+0x4b1348) [0x54fae348]
Dec 14 19:59:49 ceph-master ceph-mon[28256]: 2: (__default_sa_restorer()+0) [0x768bb480]
Dec 14 19:59:49 ceph-master ceph-mon[28256]: 3: (AdminSocket::do_accept()+0x28) [0x550ca154]
Dec 14 19:59:49 ceph-master ceph-mon[28256]: 4: (AdminSocket::entry()+0x22c) [0x550cc458]
Dec 14 19:59:49 ceph-master systemd[1]: [email protected]: main process exited, code=killed, status=11/SEGV
Dec 14 19:59:49 ceph-master systemd[1]: Unit [email protected] entered failed state.
Dec 14 19:59:49 ceph-master systemd[1]: [email protected] holdoff time over, scheduling restart.
Dec 14 19:59:49 ceph-master systemd[1]: Stopping Ceph cluster monitor daemon...
Dec 14 19:59:49 ceph-master systemd[1]: Starting Ceph cluster monitor daemon...
Dec 14 19:59:49 ceph-master systemd[1]: Started Ceph cluster monitor daemon.
Dec 14 19:59:50 ceph-master ceph-mon[28271]: *** Caught signal (Segmentation fault) **
Dec 14 19:59:50 ceph-master ceph-mon[28271]: in thread 755fcc30 thread_name:admin_socket
Dec 14 19:59:50 ceph-master systemd[1]: [email protected]: main process exited, code=killed, status=11/SEGV
Dec 14 19:59:50 ceph-master systemd[1]: Unit [email protected] entered failed state.
Dec 14 19:59:50 ceph-master systemd[1]: [email protected] holdoff time over, scheduling restart.
Dec 14 19:59:50 ceph-master systemd[1]: Stopping Ceph cluster monitor daemon...
Dec 14 19:59:50 ceph-master systemd[1]: Starting Ceph cluster monitor daemon...
Dec 14 19:59:50 ceph-master systemd[1]: [email protected] start request repeated too quickly, refusing to start.
Dec 14 19:59:50 ceph-master systemd[1]: Failed to start Ceph cluster monitor daemon.
Dec 14 19:59:50 ceph-master systemd[1]: Unit [email protected] entered failed state.

Estou procurando orientação aqui, pois não sei por que isso não funciona. Estou usando os seguintes URLs para meus repositórios apt:

root@ceph-master:~# cat /etc/apt/sources.list
deb http://mirrordirector.raspbian.org/raspbian/ testing main contrib non-free rpi

root@ceph-master:~# cat /etc/apt/sources.list.d/ceph.list
deb https://download.ceph.com/debian-jewel/ jessie main

Alguém mais tentou isso e teve problemas semelhantes? Algum conselho sobre como proceder ou contornar esse problema?

    

Answer 1

Eu finalmente consegui trabalhar com cef com meu Raspberry Pi 3s. Os repositórios do Ceph possuem apenas pacotes ARM para arquitetura arm64. Todos os pacotes armhf sumiram. Eu acho que a comunidade ceph não se preocupa mais com 32 bits e tem se concentrado em 64 bits. O truque era obter uma versão arm64 do Ubuntu instalada. Os únicos pacotes arm64 disponíveis em download.ceph.com eram para xenial ou trusty. Depois de várias tentativas fracassadas de instalar uma versão de 64 bits do Ubuntu, usei uma versão de 64 bits do Debian e apenas mudei o repositório para apontar para:

deb http://ports.ubuntu.com/ubuntu-ports xenial main universe
deb http://ports.ubuntu.com/ubuntu-ports xenial-updates main universe
deb http://ports.ubuntu.com/ubuntu-ports xenial-security main universe

Eu encontrei a imagem debian rpi de 64 bits aqui:

https://github.com/bamarni/pi64/releases

Eu tenho o ceph iluminado e funcionando!

ceph-admin@ceph-node0:~/my-cluster$ sudo ceph -s
  cluster:
    id:     5fa3e5e2-04ea-407e-b6f1-8ef5a3b3b1f2
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum ceph-node0
    mgr: ceph-node0(active)
    osd: 3 osds: 3 up, 3 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 bytes
    usage:   3164 MB used, 168 GB / 171 GB avail
    pgs:     

    

Answer 2

Dec 14 19:59:47 ceph-master ceph-mon[28237]: *** Caught signal (Segmentation fault) **

Isso é um erro de programação. ceph está acessando um ponteiro que está apontando para o nirvana.

Como o @SYN disse - você pode ter mais sorte com uma versão mais recente do ceph, onde esse bug pode ser corrigido. Se não, então você deve relatar o bug junto com o rastreamento de pilha visível em seu log lá upstream para os desenvolvedores do ceph - todos devem ficar felizes quando os bugs forem capturados e corrigidos especialmente no software de armazenamento.