Como excluir parte de um arquivo binário sem copiar

Question

Eu preciso excluir os primeiros 2 bytes de um arquivo de 6MB. No entanto, este é um Linux embarcado com apenas 32 Mbytes de RAM e menos de 1 MB de memória flash livre.

Eu tentei usar o dd, como:

1 - # dd bs=1 skip=2 count=1022 if=input of=ouput_1

2 - # dd bs=1024 skip=1 if=input of=ouput_2

3 - # rm -rf input

4 - # (dd if=ouput_1 ; dd if=ouput_2) > ouput

5 - # rm -rf ouput_1 ouput_2

Com todos os arquivos sob o / tmp (montado como tmpfs na RAM), meu problema é que pouco antes das linhas 3 e 5, a memória necessária é de 12 Mbyte (2x6MB), e o processo às vezes falha e dá um "Não é suficiente memória "erro.

Existe uma maneira de remover os primeiros 2 bytes sem alocar o dobro do tamanho do arquivo? Posso usar dd (ou qualquer outro) para cortar um arquivo binário 'no lugar'?

    

Answer 1

Acho que isso deve funcionar:

$   # Create test file
$ echo "Hello, World" > h.data
$
$   # Move contents up by 2 bytes
$   # Note if= and of= are the same for in-place editing
$ dd bs=2 if=h.data skip=1 seek=0 conv=notrunc of=h.data
5+1 records in
5+1 records out
11 bytes (11 B) copied, 0.000598796 s, 18.4 kB/s
$
$   # Note 11 bytes were moved above
$   # Truncate the file after byte 11
$ dd bs=11 if=h.data skip=1 seek=1 count=0 of=h.data
0+0 records in
0+0 records out
0 bytes (0 B) copied, 0.000338852 s, 0.0 kB/s
$
$   # Display edited file:
$ cat h.data
llo, World
$ 

Resumindo tudo isso em um script, você pode ter algo assim:

#!/bin/bash

size=$(stat -c %s "$2")
dd bs=$1 if="$2" skip=1 seek=0 conv=notrunc of="$2"
dd bs=$((size - $1)) if="$2" skip=1 seek=1 count=0 of="$2"

Chame isso de:

./truncstart.sh 2 file.dat

Em que 2 é o número de bytes a serem excluídos desde o início de file.data

Como aponta @Gilles, essa solução não é robusta em caso de indisponibilidade não planejada, o que poderia ocorrer na metade do processamento de dd ; Nesse caso, o arquivo seria corrompido.

    

Answer 2

Com base na resposta da @DigitalTrauma, finalmente funcionou para mim:

size=$(stat -c %s file)
dd bs=2 if=file skip=1 seek=0 conv=notrunc count=511 of=file
dd if=file ibs=1024 skip=1 of=file conv=notrunc obs=1022 seek=1
truncate file $(( size - 2 ))

A remoção dos dois primeiros bytes é feita com mais de 2 dd passos para acelerar e truncate é um pequeno utilitário para truncar os últimos bytes do arquivo:

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/types.h>


int main(int argc, char **argv) 
{
    if (argc != 3 ) {
        printf ("Usage: %s <file> <bytes>\n", argv[0]);
        exit(1);
    }

    if (truncate(argv[1], atoi(argv[2]))) {
        printf (" Error ! \n");
        exit(1);
    }

    return(0);
}