Supondo que você queira fazer isso por motivos de segurança.
Você pode apenas alterar a porta pública do Azure para outra coisa e deixar a configuração ssh apenas no Ubuntu.
Vá para o painel do Azure, escolha Máquinas Virtuais, abra sua VM, vá para nós de extremidade, altere a porta pública para SSH para 12131
Agora, quando você tentar ssh para ele, você usará a porta 12131, mas ela será traduzida para a porta interna 22 definida no servidor e a porta 22, externamente, não chegará a lugar nenhum.