Se você quiser limitar o acesso a usuários fora do seu grupo ou de qualquer outro usuário, a pergunta é uma duplicata de Restringir o acesso à minha pasta pessoal a partir de outra conta de usuário padrão
Caso contrário, se você quiser restringir o acesso a apenas um usuário , chame-o de enemyuser , use ACL :
cd ~
setfacl -m u:enemyuser:000 .
... e apenas enemyuser terá o acesso ao seu diretório inicial negado.
Para verificar o efeito:
[romano@pern:~] % chacl -l .
. [u::rwx,u:enemyuser:---,g::r-x,m::r-x,o::r-x]
Para remover a ACL, basta dizer:
setfacl -x u:enemyuser .
Os comandos *acl usados aqui são do pacote acl , que deve ser instalado por padrão (pelo menos, eu acho).