Possível vazamento de memória ao gravar arquivos em SD com FAT fs

1

Eu tenho uma câmera IP baseada em SoC HI3516A com slot para cartão SD. O sistema operacional na câmera é personalizado 3.4.45 kernel do Linux. Tudo funciona bem, mas eu preciso ter uma cópia do vídeo da câmera no meu armazenamento remoto no Azure, então, eu escrevi o programa em C que captura o fluxo RTP interno, dividi-lo em segmentos, escrever esses segmentos para o cartão SD e enviá-los para meu armazenamento do Azure.

Instalei um cartão SD de 64GB na minha câmera, criei o FAT fs nele e montei em / mnt / sd_card. Meu programa funciona como eu esperava, mas depois de 1 a 3 dias de uptime, vi que toda a RAM da câmera desapareceu em algum lugar.

Primeiro de tudo eu decido o que tenho vazamentos de memória no meu programa e mato-lo usando o próximo comando:

kill -S SIGKILL 1223

mas a memória não voltou ao sistema. Comportamento estranho eu acho. Depois de alguns dias de correção de bugs, de repente eu encontrei o que depois desmontar cartão SD toda a memória retorna para o sistema. Agora, eu decido o que eu tenho alguns erros na parte de criação de arquivos no meu programa. Para testar este caso, escrevi o próximo programa:

#include <stdarg.h>
#include <stdio.h>
#include <stdlib.h>
#include <fcntl.h>
#include <string.h>
#include <errno.h>
#include <unistd.h>
#include <stdint.h>
#include <limits.h>
#include <inttypes.h>
#include <time.h>

#define KB 1024
#define MB KB * 1024
#define GB MB * 1024


static void print_msg(const char *fmt, ...) {
    va_list args;
    time_t timer = time(NULL);

    printf("%s\t", ctime(&timer));

    va_start(args, fmt);
    vfprintf(stdout, fmt, args);
    va_end(args);
}

static int generate_file(const char *dest_fname, const size_t file_size) {
    char buffer[BUFSIZ];
    const char *source_fname = "/dev/urandom";
    size_t bytes_to_operate, avaliable_bytes = file_size;
    int bytes_readed, bytes_writed, source_fd = -1, dest_fd = -1, rc = EXIT_SUCCESS;


    source_fd = open(source_fname, O_RDONLY);
    if (source_fd < 0) {
        printf("Can't open source file '%s': %s.\n", source_fname, strerror(errno));
        rc = EXIT_FAILURE;
        goto end;
    }

    dest_fd = open(dest_fname, O_CREAT | O_WRONLY | O_TRUNC, 0666);
    if (dest_fd < 0) {
        printf("Can't open destination file '%s': %s.\n", dest_fname, strerror(errno));
        rc = EXIT_FAILURE;
        goto end;
    }

    bytes_to_operate = avaliable_bytes - BUFSIZ;

    print_msg("Write random data to file\n");
    while(avaliable_bytes > 0) {
        bytes_to_operate = (avaliable_bytes > BUFSIZ) 
                ? BUFSIZ
                : avaliable_bytes;

        bytes_readed = read(source_fd, buffer, bytes_to_operate);
        if (bytes_readed < 0) {
            printf("Error while reading data from '%s': %s", source_fname,
                    strerror(errno));
            rc = EXIT_FAILURE;
            goto end;
        }

        if (bytes_readed != bytes_to_operate) {
            // don't read write more than read
            bytes_to_operate = bytes_readed;
        }

        bytes_writed = write(dest_fd, buffer, bytes_to_operate);

        if (bytes_writed < 0) {
            printf("Error while writing data to '%s': %s", dest_fname,
                    strerror(errno));
            rc = EXIT_FAILURE;
            goto end;
        }

        avaliable_bytes -= bytes_writed;
    }

end:
    print_msg("Close file\n");                
    close(source_fd);
    close(dest_fd);

    return rc;
}

static void generate_fpath(char *out, const char *dest_path, uint16_t index) {
    snprintf(out, PATH_MAX, "%s/file_%"SCNu16, dest_path, index);
}

int main(int argc, char** argv) {

    size_t file_size;
    const char *dest_path = argv[3];
    char fpath[PATH_MAX];
    uint16_t del_index = 0, cur_index = 0;

    switch(argv[2][0]) {
        case 'K':
            file_size = atoi(argv[1]) * KB;
            break;
        case 'M':
            file_size = atoi(argv[1]) * MB;
            break;
        default:
            file_size = atoi(argv[1]);
            break;
    } 

    print_msg("Generate files of size %s%s to %s\n", argv[1], argv[2], argv[3]);

    while (cur_index < UINT16_MAX) {
        generate_fpath(fpath, dest_path, cur_index);
        generate_file(fpath, file_size);
        printf("Created file %s\n", fpath);
        cur_index++;
        del_index++;
        sleep(1);
    }

    return EXIT_SUCCESS;
}

O que eu tenho antes de começar meus testes:

/mnt # free
             total         used         free       shared      buffers
Mem:        125044        58540        66504            0          480
-/+ buffers:              58060        66984
Swap:            0            0            0

Agora, executo meu código de teste e peço para criar 10 MB no cartão SD

/mnt # mount /dev/sd_card2 /mnt/sd_card2
/mnt # ./random_size_file_generator 10 M /mnt/sd_card2

e em outra janela eu começo a monitorar minha memória

~ # free
             total         used         free       shared      buffers
Mem:        125044        60988        64056            0         2180
-/+ buffers:              58808        66236
Swap:            0            0            0
~ # free
             total         used         free       shared      buffers
Mem:        125044        65464        59580            0         2204
-/+ buffers:              63260        61784
Swap:            0            0            0

...

~ # free
             total         used         free       shared      buffers
Mem:        125044       123004         2040            0         1104
-/+ buffers:             121900         3144
Swap:            0            0            0

Apenas 2 MB de RAM livre. Agora eu paro meu código e desmonto o cartão SD e procuro o status da memória

/mnt # ./random_size_file_generator 10 /mnt/sd_card2
Created file /mnt/sd_card2/file_0
Created file /mnt/sd_card2/file_1
Created file /mnt/sd_card2/file_2
Created file /mnt/sd_card2/file_3
Created file /mnt/sd_card2/file_4
Created file /mnt/sd_card2/file_5
Created file /mnt/sd_card2/file_6
Created file /mnt/sd_card2/file_7
Created file /mnt/sd_card2/file_8
Created file /mnt/sd_card2/file_9
^C
/mnt # umount /mnt/sd_card2/
/mnt # free
             total         used         free       shared      buffers
Mem:        125044        58500        66544            0          472
-/+ buffers:              58028        67016
Swap:            0            0            0

Então, alguém poderia me explicar o que está acontecendo? Eu acho que o Linux reserva alguma memória para buffers, para ter certeza de que todos os dados serão gravados no cartão SD, mas quando meu programa parar, a memória não será liberada até que você desmonte o cartão SD.

Obrigado antecipadamente.

    
por ArhiChief 12.01.2017 / 09:51

0 respostas