A maneira mais fácil seria alterar as permissões dos arquivos para não serem legíveis por ninguém além do proprietário. Feito isso, o usuário teria que fazer o login como você (o que deve exigir uma senha) ou o sudo como root (que também deve exigir uma senha). Para alterar as permissões, simplesmente use o seguinte comando em qualquer arquivo que você não queira que outras pessoas tenham acesso.
chmod og-rwx filename
Isso pressupõe que, quando você não está na máquina, sua tela está bloqueada e há uma senha para sua conta, bem como a conta raiz.