Em um terminal, execute
chmod 700 ~
como seu próprio usuário. Isso tornará ~ (seu homedir) acessível apenas a você mesmo (o usuário root também poderá acessá-lo, mas ninguém mais). Para saber mais, consulte o link
Você também pode fazer isso via nautilus (o navegador de arquivos). Basta abrir o seu diretório home no nautilus, clicar com o botão direito do mouse na pasta (não em qualquer um dos arquivos), escolher propriedades, depois a aba de permissões e definir as permissões de "Proprietário" para "Criar e excluir arquivos". "Grupo" e "Outros" que você definiu como "Nenhum".