Você pode querer dar uma olhada no Xen, ele suporta passagem VGA se seu hardware suporta VT-d. Por exemplo. Configurando uma passagem da placa gráfica Xen .
No entanto, se você quiser usar CUDA, OpenCL etc ... (isso é o que eu suponho, já que você está falando sobre uma "nuvem de GPU"), você está olhando para um problema muito grande. Veja essas discussões:
- no Stack Overflow: CUDA / OpenCL dentro de uma máquina virtual / hipervisor
- no Unix e Linux SE: GPGPU / CUDA no KVM ou no Xen