Adicionar meu comentário como resposta, como usar o ssh para se conectar ao host, e usar um usuário dedicado executando rbash parece ser apenas uma solução para mim.
Como uma alternativa menos agressiva a um, é possível conectar-se remotamente à libvirtd por meio de virsh .
Veja por exemplo link e especialmente a seção sobre URIs remotos