Estou usando a versão mais recente do DBeaver no Mac, consultando um banco de dados MSSQL remoto e tenho uma consulta que resulta em 24 milhões de linhas. Eu preciso colocar esses dados no formato CSV, mas em vez de um arquivo enorme e não gerenciável com 24 milhões de linhas, gostaria de obter uma série de arquivos, cada um com um número menor de linhas.
Estou usando o recurso Exportar da consulta para obter a saída em formato CSV. Como faço para exportar os dados de forma que, após um determinado número de linhas, o arquivo CSV atual seja fechado e um novo seja aberto? Não consigo ver como isso é possível a partir da interface do usuário, mas espero que esteja faltando algo básico.
Eu posso executar a consulta de maneira paginada, aumentando a contagem de páginas toda vez que eu a executar, mas isso leva uma eternidade e há muito risco de erro humano: /
Eu tentei com um loop WHILE, e isso me deu conjuntos de resultados diferentes em guias diferentes (como esperado), mas ao executá-lo através do Export from Query, ele ainda acaba no mesmo arquivo.
Se isso não pode ser feito no cliente DBeaver, alguém sabe de um cliente que suportará isso? Parece bastante básico - gerenciando o tamanho dos arquivos csv. No momento, tenho que executar novamente a consulta, exportar para um arquivo diferente e dividir os dados com OFFSET / FETCH ROWS. É tedioso, mas posso fazer isso se for meu único recurso.