Sim, você deve alterar os arquivos / pastas que não deseja ler por outras pessoas como esta:
chmod go-rwx SECRET_FILE_OR_FOLDER
(isso faz com que seja incapaz de ser lido, escrito ou por qualquer outra pessoa.)
Você também deve se certificar de que possui os modos corretos em seu diretório pessoal, por exemplo,
chmod go-w ~