Não é diferente de contratar um administrador de sistema em algum momento. Os bons hosters têm procedimentos no local e documentados e contratualmente os seguem.
Além disso, isso está errado:
it is generally admitted that a computer can be considered unsecure when someone else than the designated operator has physical access to it.
Se geralmente você quer dizer "tecnologia ultrapassada" - sim. Mas o TPM e muitas tecnologias modernas estão aí para tornar particularmente difícil para um administrador fazer coisas ruins.
Exemplo de tais coisas são, por exemplo, "Máquina Virtual Blindada para Hyper-V". Os processadores EPYC, por exemplo, são capazes de manter a memória criptografada (iirc em uma base por máquina virtual), de modo que, mesmo como admin, você não pode realmente ler a memória de uma VM com um depurador.
Agora, você provavelmente sempre tem um vetor de ataque, mas as tecnologias adequadas significam que nem todos com acesso ao computador físico podem realmente ler os dados das máquinas virtuais - você precisará de um nível de acesso MUITO mais alto que pode ser limitado a muito poucos pessoas.