Várias razões: primeiro, você tem que ter acesso físico aos servidores, e a maioria dos funcionários não quer perder o emprego ao ser pego em sistemas de vídeo invadidos por CCTV. Em seguida, você tem algumas empresas que implementam senhas de BIOS / boot ou senhas de boot loader. Às vezes, a opção "usuário único" requer uma senha (se configurado corretamente antes do tempo), outras vezes simplesmente não está disponível.
Por fim, porém, você está correto - esse é um vetor de ataque muito explorável.