Em máquinas virtuais do Windows, isso é feito por padrão.
Em VMs Linux isso também deve ser seguro, a menos que o sistema espere que o arquivo de swap já exista no momento da inicialização: então ele pode reclamar sobre não encontrá-lo e, portanto, não conseguir montá-lo.
Nesse caso, alguns scripts seriam necessários para verificar no momento da inicialização se o arquivo de troca está realmente lá e criá-lo se não estiver; tudo isso, claro, antes de montá-lo.
O Azure provavelmente fornece alguns meios para gerenciar isso automaticamente.