Como adicionar a saída de wc -l no final de cada linha em arquivos csv usando awk ou sed

Question

Eu estou tentando adicionar a saída de wc -l no final de cada linha nos arquivos. Se um arquivo tiver 20 registros / linhas, eu quero adicionar o número, 20 no final de cada linha nesse arquivo, se o próximo arquivo tiver 100 registros / linhas, adicione o, 100 no final de cada linha. Eu tentei o comando abaixo, mas não fiz o que eu queria.

awk -v char=$(wc -l FILENAME | cut -f1 -d' ') '{print $0"," char}' FILENAME

    

Answer 1

Esta é uma solicitação estranha, mas isso deve fazer o que você quer.

#!/bin/bash

shopt -s nullglob

for f in *.csv; do
   size="$(wc -l <$f)"
   sed -i "s/$/,$size/g" "$f"
done

exit

Esteja avisado que isto irá editar no local todos os arquivos .csv em seu diretório atual.

EDIT: no Mac, o comando sed pode ter que ser sed -i '.bak' "s/$/, $size/g" "$f" porque a extensão de backup pode ser necessária. Isso não funciona na minha caixa Linux, no entanto.

    

Answer 2

Uma solução em awk puro:

awk '
  # Read the file and print it with the additional column
  function process_file( SIZE, FILE,    NEW_FILE ) {
    NEW_FILE = FILE ".tmp"
    while ( ( getline < FILE ) > 0 ){
      print $0 "," SIZE > NEW_FILE
    }
    close( FILE )
    close( NEW_FILE )
    system( "mv -f " NEW_FILE " " FILE )
  }

  # File name has changed, we just passed the end of a file,
  # => print the current file
  ( NR > 1 ) && ( PREV_FILE != FILENAME ) {
    process_file( OLD_FNR, PREV_FILE )
  }

  {
    # Save the current file name and line number within the file
    PREV_FILE = FILENAME
    OLD_FNR = FNR
  }

  END {
    # Print the last file, if any
    if ( PREV_FILE != "" ) {
      process_file( OLD_FNR, PREV_FILE )
    }
  }' file1 file2 ...

É muito mais fácil com o gawk , que tem uma condição ENDFILE :

gawk '
  # Read the file and print it with the additional column
  function process_file( SIZE, FILE,    NEW_FILE ){
    NEW_FILE = FILE ".tmp"
    while ( ( getline < FILE ) > 0 ){
      print $0 "," SIZE > NEW_FILE
    }
    close( FILE )
    close( NEW_FILE )
    system( "mv -f " NEW_FILE " " FILE )
  }
  # End of a file, print the file
  # FILENAME is the name of the current file being read
  # FNR is the line number within the file
  ENDFILE {
    process_file( FNR, FILENAME )
  }' file1 file2 ...

    

Answer 3

Não é nada, mas funciona bem

number=$(wc -l $1 | cut -d ' ' -f 1)
sed -i "s/\$/ ${number}/" $1

ou se você gosta disso em uma linha:

sed -i "s/\$/ $(wc -l $file | cut -d ' ' -f 1)/" $file

Exemplo:

user@server 22:59:58:/tmp$ file='FILENAME'
user@server 23:00:07:/tmp$ for ((i=0; i < 10; i++)) ; do echo 123 >> "$file"; done
user@server 23:00:18:/tmp$ cat "$file"
123
123
123
123
123
123
123
123
123
123
user@server 23:00:25:/tmp$ wc -l "$file"
10 FILENAME
user@server 23:00:30:/tmp$ sed -i "s/\$/ $(wc -l "$file" | cut -d ' ' -f 1)/" "$file"
user@server 23:00:37:/tmp$ cat "$file"
123 10
123 10
123 10
123 10
123 10
123 10
123 10
123 10
123 10
123 10
user@server 23:00:39:/tmp$
user@server 23:01:54:/tmp$ ls -lA "$file"
-rw-r--r-- 1 user user 70 Dez  4 23:00 FILENAME