O problema está relacionado a um bug em versões anteriores à 2.1 ( link ). Os logs de confirmação não são removidos após um flush.
Estamos tendo problemas de desempenho com nosso cluster em relação a tempos de espera quando reparos estão em execução ou exclusões em massa. Um dos conselhos que recebi foi atualizar nossa versão casssandra de 2.0.17 para 2.2. Estou drenando um dos nós para iniciar a atualização e o dreno está funcionando agora por dois dias. Nos logs só ver log como estes ao longo do tempo:
INFO [ScheduledTasks:1] 2016-04-06 08:17:10,987 ColumnFamilyStore.java (line 808) Enqueuing flush of Memtable-sstable_activity@1382334976(15653/226669 serialized/live bytes, 6023 ops)
INFO [FlushWriter:1468] 2016-04-06 08:17:10,988 Memtable.java (line 362) Writing Memtable-sstable_activity@1382334976(15653/226669 serialized/live bytes, 6023 ops)
INFO [ScheduledTasks:1] 2016-04-06 08:17:11,004 ColumnFamilyStore.java (line 808) Enqueuing flush of Memtable-compaction_history@1425848386(1599/15990 serialized/live bytes, 51 ops)
INFO [FlushWriter:1468] 2016-04-06 08:17:11,012 Memtable.java (line 402) Completed flushing /var/lib/cassandra/data/system/sstable_activity/system-sstable_activity-jb-4826-Data.db (6348 bytes) for commitlog position ReplayPosition(segmentId=1458540068021, position=1198022)
INFO [FlushWriter:1468] 2016-04-06 08:17:11,012 Memtable.java (line 362) Writing Memtable-compaction_history@1425848386(1599/15990 serialized/live bytes, 51 ops)
INFO [FlushWriter:1468] 2016-04-06 08:17:11,039 Memtable.java (line 402) Completed flushing /var/lib/cassandra/data/system/compaction_history/system-compaction_history-jb-3491-Data.db (730 bytes) for commitlog position ReplayPosition(segmentId=1458540068021, position=1202850)
Devo esperar ou simplesmente interromper o nó e iniciar a migração?
O problema está relacionado a um bug em versões anteriores à 2.1 ( link ). Os logs de confirmação não são removidos após um flush.
Verifique se existem outros processos de nodetool em execução. Eu tive dreno pendurar quando há processos de snapshots de backup. Parei todos eles e reiniciei o Cassandra para ter certeza de que estava saudável, então a drenagem funcionou.