Ao lidar com arquivos grandes, é melhor minimizar a quantidade de informações com as quais você vai lidar e existem ferramentas para isso. Uma ferramenta mencionada é grep para procurar linhas específicas de que você precisa. Outras duas ferramentas que eu recomendo usar são tail e head que podem exibir um número específico de linhas ou bytes da parte superior do arquivo ( head ) ou do final ( tail ). Isso é útil se você só precisa ler essas partes específicas do arquivo, mas nada entre elas.
O caminho alternativo é usar o comando split . Pode dividir um arquivo com base no número de bytes ou linhas. Por exemplo,
$ mkdir SPLIT
$ cd SPLIT/
$ split -l 5 /etc/passwd
$ ls
xaa xab xac xad xae xaf xag xah xai xaj
Agora, meu /etc/password é dividido em arquivos menores, 5 linhas cada, que você pode abrir com o vim ou outro editor de texto