Bem, muito obviamente dependerá das especificidades do caso, mas você deve ter em mente que com o acesso físico à máquina, eles praticamente podem fazer o que quiserem de qualquer maneira.
A solução comum para isso é dar a eles uma conta de manutenção dedicada que tenha direitos de root via sudo. Então você pode dar a eles o pw quando você quiser que eles tenham acesso root. Se você quiser tirar o acesso root, basta alterar o pw na conta de manutenção. Como alternativa, você pode manter a senha e ativar / desativar os direitos de root por meio da configuração do sudo, conforme necessário.
De qualquer forma, você pode configurar o SSH para permitir somente logins baseados em chave. Em seguida, a conta de manutenção + pw só seria utilizável para logins no console físico (mesmo se estiver habilitado), restringindo ainda mais o acesso ao sistema (se você quiser).