Tentando exportar dados de coluna única de um arquivo CSV grande

Question

Problema: Estou tentando exportar uma única coluna de um arquivo .CSV com 7 GB de tamanho (grande o suficiente para que eu não possa abrir o arquivo inteiro no excel ... ou mais editores de texto para esse assunto) para um arquivo menor que eu possa usar ou colocar em um banco de dados sem todas as informações desnecessárias.

Power Query : Eu fiz uma "conexão" com o arquivo e selecionei apenas a coluna desejada, mas não tenho certeza se há uma maneira de exportar isso.

Alternativa?: Alternativamente, usar o Powershell provavelmente é uma maneira do que eu vi baseado em esta questão , mas não sei por onde começar isso.

Se houver qualquer outro recurso que seria melhor para isso, qualquer coisa que me ajudasse a apontar na direção certa seria incrível.

Qualquer ajuda é muito apreciada!

    

Answer 1

Usando o método do PowerShell

Import-csv -Path $LargeFileName | Select-Object -Property $ColumnName | Export-Csv -Path $OutFileName -NoTypeInformation

Ajuste as variáveis LargeFileName.csv, Header ColumnName e OutFileName.csv para seus requisitos

Este método do PowerShell a seguir, usando gc e ConvertFrom-Csv, fornece um resultado mais rápido.

$CSV = Get-Content $LargeFileName | ConvertFrom-Csv | Select $ColumnHeading | Export-Csv -Path $OutFileName -NoTypeInformation

Para obter mais títulos, use a separação por vírgula

$CSV = Get-Content $LargeFileName | ConvertFrom-Csv | Select $ColumnHeading1, $ColumnHeading2  | Export-Csv -Path $OutFileName -NoTypeInformation