Quando você altera a porta ssh para outra porta, é necessário abrir a porta em Azure NSG . Por padrão, para uma VM Linux, somente a porta 22 está aberta. Então, quando você altera a porta para outra, você não pode ssh para a VM.
Quando você descansa a configuração do ssh no Portal do Azure, a porta será alterada para 22. Assim, você poderá executar o ssh na sua VM novamente.