O acesso físico é o acesso root, portanto, se alguém tiver acesso físico ao servidor, independentemente de estar em uma VM ou bare-metal, eles terão acesso root. No caso do KVM, o proprietário do host bare metal pode acessar o convidado. Você pode sempre criptografar os dados, mas isso pode ser de benefício limitado, pois os dados serão descriptografados quando você acessá-los.
O mesmo com a rede. O proprietário da VM pode ver seu tráfego de rede. Novamente, você pode criptografar parte do tráfego (https, ssh, etc).