Eu realmente suspeito que você está sendo mordido por um bug de corrupção ext4 muito falado no kernel 3 e 4. Dê uma olhada neste tópico,
Há relatos constantes de erros de corrupção nos sistemas de arquivos ext4, com configurações variadas. Muitas pessoas reclamando em fóruns. O bug parece afetar mais pessoas com configurações de RAID.
No entanto, eles são supostamente corrigidos na versão 4.0.3.
"4.0.3 inclui uma correção para um bug crítico do ext4 que pode resultar em uma grande perda de dados."
Existem outros bugs do ext4, incluindo bugs corrigidos a partir do dia 30 de novembro [de 2015].
Há também aqui um artigo muito interessante falando sobre opções de configuração no ext4, e possível corrupção com ele com falhas de energia.
Eu testaria o cartão com outro sistema de arquivos diferente de ext4, talvez ext3.
Esses erros sistemáticos com ext4 são uma das razões pelas quais estou usando o linux-image-4.3.0-0.bpo.1-amd64 do repositório de backports debian em Jessie em minha fazenda de servidores no trabalho.
Sua versão em particular, o kernel 3.13 parece ser mais afetado pelo bug.
Eu não colocaria isso de lado, talvez alguma combinação de configuração e hardware ao seu lado esteja acionando o bug mais do que o normal.
Cartões SD também ficam ruins com o uso e desgaste, e devido ao sistema de arquivos de registro no diário, um sistema ext4fs não é o ideal para um cartão SD. Como curiosidade, estou usando um Lamobo R1 e usando o cartão SD apenas para inicializar o kernel, com um disco SSD.