O problema parece ter sido causado pelo fato de meu hardware específico (PCI 8400GS antigo) não ser capaz de ser um dispositivo de passagem VGA ativo enquanto houver um Virtual Display ativo.
NB que eu só tentei com QXL - outros podem não causar conflitos.