Na maioria das vezes, se alguém tiver acesso físico à segurança da máquina, ela é nula e sem efeito. Quanto a "outros usuários", se eles não estão tentando acessar os arquivos e podem apenas tropeçar nele apenas definir as permissões em sua pasta pessoal para que ninguém mais tenha qualquer acesso, exceto você.
No que diz respeito à segurança em uma rede, acho difícil acreditar que alguém entrará em seus arquivos pessoais, a menos que você deixe as portas abertas. Se estiver preocupado, use o Gufw para gerenciar seu firewall. Você também pode verificar neste site se você tem algum tipo de falha de segurança: link
Você também pode ler esta visão geral de segurança nos fóruns do Ubuntu: link
Espero que isso seja útil para você!