RAID Array foi para somente leitura

Question

Eu criei uma máquina virtual em execução no KVM apenas para fins de teste e aprendizado. Durante a instalação, o array RAID 1 foi configurado com 3 discos para raiz e 3 para inicialização. Depois de algumas jogadas e testes, decidi escrever zeros em uma das unidades e verificar o que acontecerá:

dd if=/dev/zero of=/dev/vdc2 

Depois de o sistema passar para somente leitura, mas não houve erros no mdamd.

dmesg:

[ 2177.091939] RAID1 conf printout:
[ 2177.091947]  --- wd:2 rd:3
[ 2177.091954]  disk 0, wo:0, o:1, dev:vda2
[ 2177.091956]  disk 1, wo:0, o:1, dev:vdb2
[ 2177.091958]  disk 2, wo:1, o:1, dev:vdc2
[ 2177.095315] md: recovery of RAID array md1
[ 2177.095321] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
[ 2177.095323] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
[ 2177.095330] md: using 128k window, over a total of 9792512k.
[ 2217.132610] RAID1 conf printout:
[ 2217.132616]  --- wd:2 rd:3
[ 2217.132622]  disk 0, wo:0, o:1, dev:vda1
[ 2217.132625]  disk 1, wo:0, o:1, dev:vdb1
[ 2217.132626]  disk 2, wo:1, o:1, dev:vdc1
[ 2217.135129] md: delaying recovery of md0 until md1 has finished (they share one or more physical units)
[ 2225.567664] md: md1: recovery done.
[ 2225.572072] md: recovery of RAID array md0
[ 2225.572081] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
[ 2225.572083] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
[ 2225.572087] md: using 128k window, over a total of 682432k.
[ 2225.574833] RAID1 conf printout:
[ 2225.574836]  --- wd:3 rd:3
[ 2225.574904]  disk 0, wo:0, o:1, dev:vda2
[ 2225.574906]  disk 1, wo:0, o:1, dev:vdb2
[ 2225.574908]  disk 2, wo:0, o:1, dev:vdc2
[ 2229.036805] md: md0: recovery done.
[ 2229.042732] RAID1 conf printout:
[ 2229.042736]  --- wd:3 rd:3
[ 2229.042740]  disk 0, wo:0, o:1, dev:vda1
[ 2229.042742]  disk 1, wo:0, o:1, dev:vdb1
[ 2229.042744]  disk 2, wo:0, o:1, dev:vdc1
[ 5241.129626] md/raid1:md1: Disk failure on vdc2, disabling device.
               md/raid1:md1: Operation continuing on 2 devices.
[ 5241.131639] RAID1 conf printout:
[ 5241.131642]  --- wd:2 rd:3
[ 5241.131645]  disk 0, wo:0, o:1, dev:vda2
[ 5241.131647]  disk 1, wo:0, o:1, dev:vdb2
[ 5241.131648]  disk 2, wo:1, o:0, dev:vdc2
[ 5241.131655] RAID1 conf printout:
[ 5241.131656]  --- wd:2 rd:3
[ 5241.131658]  disk 0, wo:0, o:1, dev:vda2
[ 5241.131684]  disk 1, wo:0, o:1, dev:vdb2
[ 5326.850032] md: unbind<vdc2>
[ 5326.850050] md: export_rdev(vdc2)
[ 5395.301755] md: export_rdev(vdc2)
[ 5395.312985] md: bind<vdc2>
[ 5395.315022] RAID1 conf printout:
[ 5395.315024]  --- wd:2 rd:3
[ 5395.315027]  disk 0, wo:0, o:1, dev:vda2
[ 5395.315029]  disk 1, wo:0, o:1, dev:vdb2
[ 5395.315031]  disk 2, wo:1, o:1, dev:vdc2
[ 5395.318161] md: recovery of RAID array md1
[ 5395.318168] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
[ 5395.318170] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
[ 5395.318174] md: using 128k window, over a total of 9792512k.
[ 5443.707445] md: md1: recovery done.
[ 5443.712678] RAID1 conf printout:
[ 5443.712682]  --- wd:3 rd:3
[ 5443.712686]  disk 0, wo:0, o:1, dev:vda2
[ 5443.712688]  disk 1, wo:0, o:1, dev:vdb2
[ 5443.712689]  disk 2, wo:0, o:1, dev:vdc2
[ 8017.777012] EXT4-fs error (device md1): ext4_lookup:1584: inode #36: comm systemd-sysv-ge: deleted inode referenced: 135
[ 8017.782244] Aborting journal on device md1-8.
[ 8017.785487] EXT4-fs (md1): Remounting filesystem read-only
[ 8017.876415] EXT4-fs error (device md1): ext4_lookup:1584: inode #36: comm systemd: deleted inode referenced: 137

cat / proc / mdstat:

Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 vdb2[1] vda2[0]
      9792512 blocks super 1.2 [3/2] [UU_]

md0 : active raid1 vdc1[2] vdb1[1] vda1[0]
      682432 blocks super 1.2 [3/3] [UUU]

unused devices: <none>

Eu tentei montar a raiz como read-write sem sucesso:

mount -o remount /

Segmentation fault (core dumped)

então:

fsck -Af

fsck from util-linux 2.27.1
Segmentation fault (core dumped)

Eu estava pulando que sem remover o drive vdc2 eu vou re-balancear com sucesso, mas eu estava errado. A unidade quebrada foi removida:

mdadm --manage /dev/md1 --fail /dev/vdc2
mdadm --manage /dev/md1 --remove /dev/vdc2

E tente excluir e criar a unidade novamente usando fdisk ou cfdisk, mas eu recebo o mesmo erro: Falha de segmentação (núcleo despejado)

Estou colando o status de md1 e a unidade usando mdadm:

mdadm -D / dev / md1

/dev/md1:
        Version : 1.2
  Creation Time : Mon Nov  7 21:22:29 2016
     Raid Level : raid1
     Array Size : 9792512 (9.34 GiB 10.03 GB)
  Used Dev Size : 9792512 (9.34 GiB 10.03 GB)
   Raid Devices : 3
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Tue Nov  8 02:38:26 2016
          State : clean, degraded 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           Name : ubuntu-raid:1  (local to host ubuntu-raid)
           UUID : c846618f:d77238fe:95edac3d:dd19e295
         Events : 108

    Number   Major   Minor   RaidDevice State
       0     253        2        0      active sync   /dev/vda2
       1     253       18        1      active sync   /dev/vdb2
       4       0        0        4      removed

mdadm -E / dev / vdc2

/dev/vdc2:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : c846618f:d77238fe:95edac3d:dd19e295
           Name : ubuntu-raid:1  (local to host ubuntu-raid)
  Creation Time : Mon Nov  7 21:22:29 2016
     Raid Level : raid1
   Raid Devices : 3

 Avail Dev Size : 19585024 (9.34 GiB 10.03 GB)
     Array Size : 9792512 (9.34 GiB 10.03 GB)
    Data Offset : 16384 sectors
   Super Offset : 8 sectors
   Unused Space : before=16296 sectors, after=0 sectors
          State : clean
    Device UUID : 25a823f7:a301598a:91f9c66b:cc27d311

    Update Time : Tue Nov  8 02:20:34 2016
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : d6d7fc77 - correct
         Events : 101


   Device Role : Active device 2
   Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)

SO: Ubuntu 16.04.1 Kernel: 4.4.0-31-genérico Versão do mdadm: v3.3

Então eu tenho duas perguntas: por que isso acontece, qual é o principal motivo para não ser capaz de montar o array read-write e a segunda pergunta é como evitar isso no futuro. Claro que este é um ambiente de teste, mas eu estou procurando uma maneira de consertá-lo sem reiniciar ou algo similar

    

Answer 1

O sistema md do Linux depende das unidades de componentes da sua matriz RAID para fornecer bons dados ou não fornecer dados. Em uma situação de falha do mundo real, essa é uma suposição razoável: os discos contêm informações de correção de erros e é extremamente improvável que um setor ruim se corrompa de uma maneira que não pode ser detectada.

Ao escrever zeros em um disco, você ignora essa proteção. O sistema md acha que os dados ainda estão bons e passa os dados corrompidos até a camada do sistema de arquivos, que reage mal. Como você está usando o RAID 1, md equilibrará as leituras em todas as unidades para aumentar o desempenho; as falhas que você está obtendo são porque partes de mount e fsck estão sendo lidas da unidade defeituosa.

Para recuperar, remova completamente o disco com falha do sistema (já que você está usando uma VM, faça isso usando as ferramentas de gerenciamento da VM; se esse fosse um sistema físico, você poderia desconectar a unidade). Isso forçará o sistema md a perceber que a unidade falhou e parar de ler a partir dela; você pode então executar qualquer recuperação em nível de sistema de arquivos necessária.

Se você quiser jogar esse tipo de jogo com seus discos, formate-os com ZFS ou BTRFS: esses sistemas de arquivos não pressupõem "bons dados ou nenhum dado" e usam somas de verificação para detectar dados incorretos sendo lidos o disco.