O thin pool de LVM congelou devido à falta de espaço livre, o que fazer?

Question

Meu pool LVM fino ficou cheio e alguns programas ficaram suspensos:

device-mapper: thin: 253:4: reached low water mark, sending event.
device-mapper: thin: 253:4: no free space available.
INFO: task jbd2/dm-6-8:742 blocked for more than 120 seconds.
...
INFO: task java:19262 blocked for more than 120 seconds.

Eu removi vários snapshots finos para adquirir algum espaço livre, mas os programas não foram retomados.

Existe um comando para descongelar programas / fs / volumes?

    

Answer 1

Parece que é um estado de pânico e não pode ser resolvido sem uma reinicialização.

A reinicialização é complicada: até reboot --force não funcionou para mim, mas esse script fez:

    echo 1 > /proc/sys/kernel/sysrq
    echo b > /proc/sysrq-trigger

Para evitar pânico, alguma ferramenta de monitoramento pode excluir automaticamente os snapshots antigos ou chamar fsfreeze ou ambos, mas pelo menos no rhel 6.5, não existe essa ferramenta.

O serviço lvm2-monitor só pode imprimir aviso no syslog:

Apr 28 18:06:16 oktest-prod-lb1 lvm[789]: Thin vg_oktestlb1-pool-tpool is now 80% full.
Apr 28 18:07:26 oktest-prod-lb1 lvm[789]: Thin vg_oktestlb1-pool-tpool is now 85% full.

Veja lvm.conf :

# thin_library is the library used when monitoring a thin device.
#
# "libdevmapper-event-lvm2thin.so" monitors the filling of
# pool and emits a warning through syslog when the use of
# the pool exceeds 80%. The warning is repeated when 85%, 90% and
# 95% of the pool is filled.

thin_library = "libdevmapper-event-lvm2thin.so"

rsyslog pode ser configurado para enviar um e-mail ou executar um comando shell nessas mensagens.

    

Answer 2

Apenas

lvresize -L +100g oktestlb1/pool

ou mais geralmente:

lvresize -L +100g volgroup/poolname

Isso deve descongelar imediatamente o volume se você optar por não usar o redimensionamento automático baseado em eventos. Claro que você precisa de espaço no seu PV para fazer isso.