Se sua VM Linux é apenas para desenvolvimento, por que você precisa de um ambiente de área de trabalho (ou mesmo X)?
Você pode executar uma VM sem X (e toda a bagagem que vem com o X) e se conectar a ela com um cliente ssh (putty.exe). Você pode executar múltiplas conexões ssh com a VM e / ou se você possui o GNU Screen ou similar instalado na VM, então você pode ter várias sessões de terminal dentro da conexão ssh (você também pode desanexar e reconectar a elas à vontade).
Se você quer um sistema debian / ubuntu simplificado, então a maneira mais fácil de obtê-lo é instalar o sistema básico da Debian em uma VM e depois instalar somente os pacotes que você realmente precisa com o apt- obter ou aptidão ou o que quer que seja.
Se você precisa rodar aplicativos GUI Linux, existem servidores X disponíveis para MS Windows, incluindo versões gratuitas (faz muitos anos que eu precisei de algo assim, então não posso recomendar nenhum) - isso permitiria que você para executar o aplicativo GUI no linux e ter a janela do programa na sua área de trabalho do MS Windows.