Estou executando o Apache Cassandra 3.11.1 e tenho 6 tamanhos de tabela no estado de falha.
Max partition is larger than 100MB.
Para estas 6 tabelas, os tamanhos das partições são em média entre 200MB e superiores a 5GB. Essas 6 tabelas são divididas em três espaços-chave e são específicas para Akka Persistence eventsByTag (ou seja, eventsByTag1, eventsByTag2).
Muitos dos dados nessas tabelas não são usados, ainda precisam estar disponíveis.
Estou pensando em alterar o modelo de dados, mas, ao mesmo tempo, estou tentando entender melhor qual é o impacto de ter grandes tamanhos de partição.
Além de ficar sem memória ou atingir limitações da Cassandra , quais são alguns dos outros impactos negativos de ter grandes tamanhos de partições? se a maioria dos dados não for acessada?
Um caso específico que pode estar relacionado (não confirmado) é que atualmente estou executando o Cassandra com visões materializadas e elasticsearch. Às vezes, as projeções usadas para atualizar o elasticsearch com dados do Cassandra falham e ainda não tenho certeza se isso está relacionado.
A mensagem de erro que recebo neste caso é:
Caused by: com.datastax.driver.core.exceptions.ReadTimeoutException:
Cassandra timeout during read query at consistency LOCAL_QUORUM (2
responses were required but only 1 replica responded)
Com esta versão do Cassandra, ela deve ser melhor do que antes, embora ainda possa haver problemas de desempenho associados ao acesso a muitos SSTables, fazendo apenas seleções na chave de partição, etc.
Esta apresentação oferece uma boa visão geral de trabalho feito para suportar "partições amplas", embora ainda seja uma maneira recomendada de remodelar os dados.
Tags cassandra