Como remover a primeira chave do arquivo JSON?

Question

Eu tenho um arquivo json muito grande de 5 GB. Eu estou tentando remover a primeira chave do arquivo.
Entrada:

{"url":"example.com","original_url":"http://example.com","text":"blah...blah"...}

Eu tentei:

jq 'del(.url)' file.json > out.josn

Este comando estava funcionando bem até me deparar com um erro:

aims@aims:~$ jq 'del(.url)' file.json > out.json
parse error: Invalid numeric literal at line 680284, column 49

Por favor, deixe-me saber a solução. Qual é o problema em jq ?

    

Answer 1

Carregar dados json como dicionário python e inserir a chave específica

#!/usr/bin/env python
import json,sys

with open(sys.argv[1]) as f: 
    for line in f:
        data=json.loads(line)
        data.pop('url')
        json.dump(data,sys.stdout)
        print("")

Teste:

$ cat input.txt                                                                                                          
{"url":"example.com","text":"blah...blah"}
{"url":"anotherexample.com","text":"blah...blah"}
$ ./pop_json_item.py input.txt                                                                                           
{"text": "blah...blah"}
{"text": "blah...blah"}