Eu recomendo que você armazene os arquivos em um formato criptografado. Com o arquivo criptografado, ninguém seria capaz de acessá-los sem o software de criptografia e sua chave de criptografia (que você armazenaria no seu computador ou unidade USB). O software de criptografia pode, então, descriptografar os arquivos on-the-fly.
Nunca fiz isso pessoalmente, mas uma pesquisa on-line encontrou os seguindo o tutorial que parece que vai conseguir isso.