Bem, se você sempre tiver o mesmo número de campos por registro e não tiver nada entre os registros (suposições que estou fazendo com base em sua postagem, que podem ou não estar corretas), você pode seguir a rota do awk . Isso preservará a ordem das colunas e as novas linhas incorporadas. Suponha que o seguinte esteja em parse.awk :
BEGIN {
RS = "( = |\n\s+)";
isHeader = 0;
Sep = "\",\"";
Q = "\"";
# WinEOL = "\r"; # enable this if your CSV will be used on Windows
Headers = Fields = Q;
}
function sanitise (Entry) {
gsub(/(^[ "]*|[" \n]*$)/, "", Entry); # Trim leading/trailing double quotes and white space
gsub(/"/, "\"\"", Entry); # Escape double quotes
return Entry;
}
function addField (Field) {
Fields = Fields FieldsSep sanitise(Field);
isHeader = 1;
FieldsSep = Sep;
FieldCounter++
}
function addHeader (Header) {
Headers = Headers HeadersSep sanitise($0);
isHeader = 0;
HeadersSep = Sep;
}
1 == NR { # Special case of first header
addHeader($1);
next;
}
$0 == "\"" { # Fields with newlines
LongField = $0;
LongFieldSep = "";
while (getline > 0) {
LongField = LongField LongFieldSep $0;
LongFieldSep = "\n";
if ($NF ~ /"$/) {
addField(LongField);
next;
}
}
}
{
if (isHeader) {
addHeader($0);
}
else {
addField($0);
}
if (FieldsPerRecord == FieldCounter) {
if (!HeadersPrinted) {
print Headers Q WinEOL;
HeadersPrinted = 1
}
print Fields Q WinEOL;
Fields = FieldsSep = "";
FieldCounter = 0
}
}
Então você poderia invocá-lo com FieldsPerRecord definido na linha de comando:
$ awk -v FieldsPerRecord=26 -f parse.awk data.csv
Que produzirá os seguintes dados codificados em CSV que o LibreOffice Calc parece aceitar sem problemas:
"Identifier","State","Problem Status","Clearance Report Flag","Escalated Alarm","Close User Identifier","Termination User Identifier","Close Time Stamp","Termination Time Stamp","Creation Timestamp","Clearance Time Stamp","Last Modification Timestamp","Previous State","Managed Object","Target Entities","Alarm Type","Event Time","Probable Cause","Specific Problems","Notification Identifier","Domain","Alarm Origin","Perceived Severity","Additional Text","Original Severity","Original Event Time"
"1130","Terminated","Closed","True","False","Auto-Clear","Auto-Clear","Fri 18 Oct 2013 05:01:46","Fri 18 Oct 2013 05:01:46","Fri 18 Oct 2013 04:37:29","Fri 18 Oct 2013 05:01:40","Fri 18 Oct 2013 05:01:46","Outstanding","Alcatel_5529OAD VMD1HTE1A71_ns:.OAD2 MD ""AMS"" Node ""INGJJMGRJMTSNB0001AG2OLT001","{ Alcatel_5529OAD VMD1HTE1A71_ns:.OAD2 MD ""AMS"" Node ""INGJJMGRJMTSNB0001AG2OLT001"" }","CommunicationsAlarm","Fri 18 Oct 2013 05:01:40","Unknown","{ }","160315","Domain VMD1HTE1A71_ns:.dm.GJ_OAD2","IncomingAlarm","Major","nativeProbableCause: Attempt Threshold Crossed
osTime: 20131018163727.250+0530
neTime: 20131011174021.0+0530
notificationId: AMS:160315
portNumber:
ftpNumber:
meNm: INGJJMGRJMTSNB0001AG2OLT001
mdNm: AMS
objectType: OT_MANAGED_ELEMENT
aliasValue: MGMT Security
Access:INGJJMGRJMTSNB0001AG2OLT001:IP10.70.6.6.T0.S841","Major","Fri 11 Oct 2013 05:40:21"
Note que eu uso a abordagem quote all que, pelo menos para mim, produz menos surpresas ao importar, mas você pode desabilitar isso definindo Q = "" , Sep = "," e os dois gsub() linhas em sanitise() .
no entanto , eu não acho que isso é um problema de expressão regular. Esses dados são de largura fixa, então parece que o % de unpack do Perl é provavelmente a melhor abordagem a ser adotada. Eu nunca fui capaz de entender isso, mas esta pode ser uma boa oportunidade para eu aprender se alguém quiser mostrar uma maneira de fazer isso com unpack .
atualizar
Não sou um Perl Hacker ™, mas o seguinte parece funcionar bem, não faz suposições sobre o conteúdo de campos com várias linhas, retém a ordem dos campos e todo o espaçamento original dentro dos campos (mas remove o espaço inicial dos cabeçalhos) e parece perl-esqueish para os meus olhos destreinados:
BEGIN{
our (@headers, @fields);
our $headers_printed = 0;
}
my ($header, $field) = unpack("A36x2A*", $_); # magic!
if ("" eq $header) { # Fields with newlines
$fields[$#fields] .= "\n" . $field;
next;
}
push(@headers, $header =~ s/^\s*//gr);
push(@fields, $field);
if (26 == $#headers + 1) { # Print complete record
printf "%s\n", join ",", @headers unless $headers_printed;
$headers_printed = 1;
printf "%s\n", join ",", @fields;
@fields = @headers = ();
}
Basta invocar com:
$ perl -nf /tmp/parse.pl /tmp/data.txt
Identifier,State,Problem Status,Clearance Report Flag,Escalated Alarm,Close User Identifier,Termination User Identifier,Close Time Stamp,Termination Time Stamp,Creation Timestamp,Clearance Time Stamp,Last Modification Timestamp,Previous State,Managed Object,Target Entities,Alarm Type,Event Time,Probable Cause,Specific Problems,Notification Identifier,Domain,Alarm Origin,Perceived Severity,Additional Text,Original Severity,Original Event Time
1130,Terminated,Closed,True,False,"Auto-Clear","Auto-Clear",Fri 18 Oct 2013 05:01:46,Fri 18 Oct 2013 05:01:46,Fri 18 Oct 2013 04:37:29,Fri 18 Oct 2013 05:01:40,Fri 18 Oct 2013 05:01:46,Outstanding,Alcatel_5529OAD VMD1HTE1A71_ns:.OAD2 MD "AMS" Node "INGJJMGRJMTSNB0001AG2OLT001",{ Alcatel_5529OAD VMD1HTE1A71_ns:.OAD2 MD "AMS" Node "INGJJMGRJMTSNB0001AG2OLT001" },CommunicationsAlarm,Fri 18 Oct 2013 05:01:40,Unknown,{ },160315,Domain VMD1HTE1A71_ns:.dm.GJ_OAD2,IncomingAlarm,Major,"
nativeProbableCause: Attempt Threshold Crossed
osTime: 20131018163727.250+0530
neTime: 20131011174021.0+0530
notificationId: AMS:160315
portNumber:
ftpNumber:
meNm: INGJJMGRJMTSNB0001AG2OLT001
mdNm: AMS
objectType: OT_MANAGED_ELEMENT
aliasValue: MGMT Security
Access:INGJJMGRJMTSNB0001AG2OLT001:IP10.70.6.6.T0.S841 ",Major,Fri 11 Oct 2013 05:40:21
Provavelmente seria melhor usar Text::CSV , mas eu estava mais interessado em aprender como unpack funciona. Parece ser muito mais legível e robusto para dados de largura fixa do que expressões regulares.