Uma opção que eu conheço não é realmente uma, mas resolve o problema: criar conexão RDP da instância para si mesma e forçá-la a usar o driver de exibição refletido fornecido pelo RDP para que você possa especificar a resolução usando parâmetros mstsc.