Diagnosticar interrupção completa do Ubuntu 12.04.1 Server ao iniciar uma operação intensa de E / S?

Question

No momento, estou tentando migrar dados de um software RAID5 (6 discos) para um software RAID1. O comando de escolha foi:

rsync -avxHACPX /mnt/old/ /mnt/new/

No entanto, após os primeiros arquivos, a máquina trava completamente. Primeiro, pensei que isso acontecia porque os discos estavam conectados usando um cartão de extensão USB3, mas mesmo quando os conectava diretamente usando SATA, a situação não mudava.

No momento, estou realizando um longo teste SMART usando smartctl , mas isso levará muito tempo para ser concluído. E enquanto isso, gostaria de descobrir como diagnosticar esse problema.

Vários anos atrás, um costumava ser capaz de seguir o log do kernel em um dos terminais, mas parece que o Ubuntu não fornece mais isso. Como os arquivos de log não contêm nada de útil (provavelmente porque eles não são gravados assim que a condição de erro ocorre), fico me perguntando como diagnosticar esse problema?

Minha pergunta também é mais uma pergunta geral sobre como diagnosticar esse problema quando me deparo com isso. No momento, a única chance que parece ter é anotar os arquivos que contêm erros e, em seguida, ignorá-los ao copiar. Mas essa é a tarefa real. Em um nível mais abstrato, eu gostaria de aprender sobre estratégias como o que eu poderia fazer no passado observando o console do kernel.

NB: Prefixei minha invocação de rsync com ionice -c 3 nice primeiro, mas depois disso, o erro foi removido. O erro ocorre independentemente disso.

Mais informações: volume de origem é XFS, disco de destino é ext4. Eu estou sempre mount -o ro,remount o volume de origem antes de iniciar a operação de cópia. O volume de origem também é um volume LVM2 sobre o software RAID5 (md).

smartctl -a output (filtrado):

# for i in $(blkid |grep '/sd'|cut -b 1-8|sort|uniq); do echo $i;  smartctl -a $i|grep -A 1 '^SMART Error Log Version'; done
/dev/sda
SMART Error Log Version: 1
No Errors Logged
/dev/sdb
SMART Error Log Version: 1
ATA Error Count: 1
/dev/sdc
SMART Error Log Version: 1
No Errors Logged
/dev/sdd
SMART Error Log Version: 1
No Errors Logged
/dev/sde
SMART Error Log Version: 1
No Errors Logged
/dev/sdf
SMART Error Log Version: 1
No Errors Logged
/dev/sdg
SMART Error Log Version: 1
No Errors Logged
/dev/sdh
SMART Error Log Version: 1
No Errors Logged

/dev/sdb é um dos discos físicos que compõem o volume físico do volume de origem.

A saída iostat que você solicitou:

sdc               0.00     3.50    0.00    2.00     0.00    22.00    22.00     0.45  226.00    0.00  226.00  78.00  15.60
sdd              38.50     0.00   86.00    0.00  6982.00     0.00   162.37     0.27    3.14    3.14    0.00   2.95  25.40
sde              39.50     0.00   88.00    0.00  7064.00     0.00   160.55     0.43    4.95    4.95    0.00   4.30  37.80
md1               0.00     0.00  625.00    0.00 34984.00     0.00   111.95     0.00    0.00    0.00    0.00   0.00   0.00
sdf              40.00     0.00   84.50    0.00  6994.00     0.00   165.54     0.40    4.73    4.73    0.00   4.43  37.40
sdg               0.00   107.00    0.00  250.00     0.00 18018.00   144.14     1.29    5.06    0.00    5.06   0.61  15.20
sdh               0.00   107.00  251.00    6.50 16034.00  2434.00   143.44     2.54    9.69    9.74    7.69   0.60  15.40
md6               0.00     0.00    0.50  113.50     2.00  2434.00    42.74     0.00    0.00    0.00    0.00   0.00   0.00
md5               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
BIGDISK           0.00     0.00  625.00    0.00 34984.00     0.00   111.95     2.59    4.19    4.19    0.00   0.92  57.80

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              38.50     0.00   86.50    0.00  6982.00     0.00   161.43     0.40    4.58    4.58    0.00   4.09  35.40
sdb              39.00     0.00   87.00    0.00  6898.00     0.00   158.57     0.38    4.37    4.37    0.00   3.91  34.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdd              40.50     0.00   86.00    0.00  7028.00     0.00   163.44     0.30    3.51    3.51    0.00   3.16  27.20
sde              37.50     0.00   86.50    0.00  6972.00     0.00   161.20     0.39    4.51    4.51    0.00   4.05  35.00
md1               0.00     0.00  626.50    0.00 34772.00     0.00   111.00     0.00    0.00    0.00    0.00   0.00   0.00
sdf              38.50     0.00   86.50    0.00  7002.00     0.00   161.90     0.42    4.86    4.86    0.00   4.23  36.60
sdg               0.00   470.00    0.00  277.50     0.00 80506.00   580.22    68.39  246.57    0.00  246.57   2.54  70.40
sdh               0.00   459.50  128.50  152.00  8224.00 71834.00   570.82    72.01  256.88    6.66  468.42   2.52  70.80
md6               0.00     0.00    0.00  612.50     0.00 71834.00   234.56     0.00    0.00    0.00    0.00   0.00   0.00
md5               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
BIGDISK           0.00     0.00  626.50    0.00 34772.00     0.00   111.00     2.69    4.30    4.30    0.00   0.93  58.20

/dev/sdb é o dispositivo smartctl relata com erros.

    

Answer 1

Para responder à pergunta e dar mais indicações para outras pessoas tropeçarem nisso. Acontece que a placa-mãe da máquina estava morrendo. Alguns dos capacitores realmente explodiram.

Lição aprendida: não descarte falhas reais de hardware em casos tão estranhos.

btw: Consegui recuperar todos os dados do array RAID5.