O grupo de volumes desapareceu, os LVs ainda estão disponíveis

Question

Eu me deparei com um problema com o meu host KVM, que executa VMs em um volume LVM. A partir de ontem à noite, os volumes lógicos não são mais vistos como tal (não consigo criar instantâneos deles, embora já esteja há meses).

A execução de todas as digitalizações resulta em nada ser encontrado:

[root@apollo ~]# pvscan
No matching physical volumes found

[root@apollo ~]# vgscan
Reading all physical volumes.  This may take a while...
No volume groups found

root@apollo ~]# lvscan
No volume groups found

Se eu tentar restaurar o backup conf de VG em /etc/lvm/backups/vg0 , recebo o seguinte erro:

[root@apollo ~]# vgcfgrestore -f /etc/lvm/backup/vg0 vg0
Couldn't find device with uuid 20zG25-H8MU-UQPf-u0hD-NftW-ngsC-mG63dt.
Cannot restore Volume Group vg0 with 1 PVs marked as missing.
Restore failed.

/etc/lvm/backups/vg0 tem o seguinte para o volume físico:

physical_volumes {

            pv0 {
                    id = "20zG25-H8MU-UQPf-u0hD-NftW-ngsC-mG63dt"
                    device = "/dev/sda5"    # Hint only

                    status = ["ALLOCATABLE"]
                    flags = []
                    dev_size = 4292870143   # 1.99902 Terabytes
                    pe_start = 384
                    pe_count = 524031       # 1.99902 Terabytes
            }
}

fdisk -l /dev/sda mostra o seguinte:

[root@apollo ~]# fdisk -l /dev/sda

Disk /dev/sda: 6000.1 GB, 6000069312512 bytes
64 heads, 32 sectors/track, 5722112 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000188b7

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1               2       32768    33553408   82  Linux swap / Solaris
/dev/sda2           32769       33280      524288   83  Linux
/dev/sda3           33281     1081856  1073741824   83  Linux
/dev/sda4         1081857     3177984  2146435072   85  Linux extended
/dev/sda5         1081857     3177984  2146435071+  8e  Linux LVM

O servidor está executando um HW RAID10 de 4 discos que parece perfeitamente saudável de acordo com o megacli e o smartd.

A única mensagem estranha em /var/log/messages é a seguinte, que aparece a cada duas horas:

Jun 10 09:41:57 apollo udevd[527]: failed to create queue file: No space left on device

Saída de df -h

[root@apollo ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda3            1016G  119G  847G  13% /
/dev/sda2             508M   67M  416M  14% /boot

Alguém tem alguma ideia do que fazer a seguir? As VMs estão todas funcionando bem no momento, além de não serem capazes de capturá-las.

Atualizado com informações adicionais Não é falta de inodes:

[root@apollo ~]# df -i
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
/dev/sda3            67108864   48066 67060798    1% /
/dev/sda2              32768      47   32721    1% /boot

pvs, vgs & lvs não produz nada ou "Nenhum grupo de volume encontrado".

    

Answer 1

Eu acho que o udev parou de funcionar, então você não tem acesso aos comandos de baixo nível.

Você pode tentar:

pvs
vgs
lvs

comandos para verificar sua configuração de lvm em execução.

Você pode tentar reiniciar o udev (ou reinicializar o servidor como último recurso).

Apenas por curiosidade, o que diz df -i ?