Você pode modificar a configuração do BIOS, definir a ordem de inicialização apenas para HDD, proteger o BIOS com uma senha (mas um invasor pode redefini-la substituindo a bateria do BIOS) e no Linux você pode proteger o GRUB com uma senha. Mas você terá que digitar a senha toda vez que reiniciar seu sistema (se você tiver o KVM sobre IP, isso é possível).
Mas a verdade é que, se alguém tiver acesso físico à sua máquina, poderá usar um martelo, C4, motosserra, etc ... para destruir seus dados e seu computador. Mesmo se você protegê-lo com uma senha da BIOS, eles podem substituir o HDD.
Em conclusão, se alguém tiver acesso físico a uma máquina, poderá fazer o que quiser com ela.