A resposta curta é você não faz isso !!
O que você está pedindo, IMO, não é possível usando o VNC. É uma tecnologia ruim, mesmo quando eu uso todos os dias para fazer tarefas de administrador em nossa LAN de 1 GB. Eu não conseguia nem imaginar jogar um jogo dessa maneira.
Veja estes Q & A's de SuperUser e AskUbuntu para obter informações adicionais sobre as armadilhas de tentar isso. Eles cobrem VNC, bem como jogos sobre virtualização, como o VirtualBox.