Portanto, eu tenho esse arquivo csv com mais de 100 milhões de registros e quero trabalhar nele. Eu não quero apenas editá-lo .
O que eu preciso é usar algum tipo de transformação de banco de dados de excel / basic (agrupar por, extrair alguns caracteres, adicionar uma nova coluna com base em informações combinadas, etc.).
Qual é a melhor maneira de fazer isso? Importar para um banco de dados? (como o Oracle, certeza de que o Access não pode gerenciar esse arquivo grande). Outras ferramentas são utilizáveis? No trabalho eu costumava ter um software chamado Amadea ( link ) que fazia algumas transformações de dados como essa. Não conheço nenhuma outra ferramenta (gratuita) que faça isso da mesma maneira.
Obrigado!
Definitivamente, use um banco de dados. Há muitos gratuitos, como o MySQL, ou se você quer apenas um computador para trabalhar nele por vez, então o Sqlite é extremamente bom.
Verifique se sua importação funcionou corretamente primeiro, especialmente se houver números não ascii ou grandes no conjunto de dados de entrada.
Tags csv