Não. Acesso físico == acesso root e raiz pode, bu definição, fazer o que ele / ela quer. É por isso que os servidores são mantidos em salas trancadas.
Suas opções são:
-
Limite o acesso físico - bloqueie seu computador.
-
Use criptografia (LUKS). Tome cuidado, porém, a criptografia pode ser derrotada se alguém tiver acesso físico;)