Estou procurando uma maneira de navegar por alguns arquivos codificados em Unicode CSV. Esses arquivos têm um número relativamente grande de linhas (2 a 3 milhões) e 10 colunas, com colunas numéricas, pequenos campos de texto, datas ou parágrafos únicos de texto (peso total: cerca de 300 MB por arquivo). Eu preciso aplicar pesquisa básica e filtragem ("mostrar apenas as linhas onde a coluna X tem valor Y", "procurar por esta palavra nesta coluna entre as linhas filtradas"). A facilidade de uso é a principal prioridade, já que será usada por usuários inexperientes.
Eu não preciso editar esses arquivos, apenas navegando.
Planilhas estão fora - elas não lidam com muitas linhas (a melhor delas tem um limite de 1 milhão de linhas). Pensei em uma ferramenta como o OpenRefine , mas da última vez que tentei carregar meu arquivo de exemplo, ele consumiu 8GB de memória e começou a trocar antes mesmo de carregar metade do arquivo.
Os sistemas de banco de dados relacional existentes que eu conheço (OOo Base, Access) têm UI muito complexa para lidar com toda a complexidade do modelo relacional, o que tornaria o uso de uma única tabela para um usuário inexperiente.
Como posso permitir que esses usuários inexperientes naveguem e filtrem esses dados?
Tags csv