Reuni os comentários para a resposta do MDMarra de que alguns usuários precisam (precisam ou querem?) para poder iniciar e interromper as VMs. Se os usuários tiverem um caso válido para ter controle direto sobre um servidor, como quando são usados para o trabalho de desenvolvimento, considere colocar essas VMs nas estações de trabalho dos usuários. Use qualquer produto de virtualização que você goste para o trabalho, como o Virtualbox, o VMWare Player, o Virtual PC, etc.
Sua situação gera dois problemas fundamentais:
- A regra de menos privilégios deve sempre ser aplicada.
- Nunca permita que os usuários acessem ou façam qualquer coisa pelos quais você possa ser responsabilizado. É bastante fácil cometer erros. Você não precisa de usuários fazendo isso para você.