O Azure é apenas uma plataforma de nuvem, o que significa que você verá uma máquina virtual na qual você pode fazer SSH e fazer coisas.
Com isso em mente, um bom ponto de partida para você se familiarizar com isso é usando as imagens em nuvem do Ubuntu:
Eles fornecerão uma instalação básica usável e personalizada na nuvem para você trabalhar.
Se o seu desktop ou servidor não é muito importante; você poderá instalar pacotes usando as ferramentas padrão (por exemplo, sudo apt-get install build-essential deve instalar o básico para você compilar e executar programas escritos em C). Você pode instalar editores, outros idiomas e praticamente tudo que você precisa aqui.
A única razão pela qual eu aconselho a não escolher uma instalação de desktop é que você não precisa dela. Se as pessoas forem principalmente SSHing, então uma instalação de desktop desperdiçará recursos em um desktop que ninguém jamais verá.