Isso não tem nada a ver com o Azure, esse é o limite imposto pelo Windows Server na administração remota. Você só pode ter 2 administradores se conectando a um servidor para gerenciá-lo de uma só vez.
Se você precisar de mais de duas conexões, essa não será mais uma administração remota; você está executando um servidor de área de trabalho remota e fornecendo aplicativos aos usuários, o que significa que você precisa de licenças de acesso de cliente RDP para cada usuário.
Como você está executando esse servidor no Azure, que é um serviço hospedado, não é possível usar apenas CALs RDP padrão; em vez disso, você precisa usar SALs SPLA, pelo qual paga uma taxa mensal em vez de um custo inicial. Qualquer empresa pode se inscrever para usar o SPLA, você só precisa encontrar um revendedor do SPLA e assinar um contrato com eles. Alternativamente, se você tem um Enterprise Agreement, pode optar por usar algumas licenças, fale com o representante da sua conta, se for o caso.
Agora, se nada disso funcionar para você, a única outra opção será usar o serviço RemoteApp do Azure. Esta é uma oferta de Plataforma como Serviço para a Área de Trabalho Remota. Você pode fornecer uma imagem do seu sistema operacional, com os aplicativos que você precisa instalar, e o Azure apresentará isso por meio do RemoteApp. Você paga uma taxa mensal por usuário e isso abrange todas as licenças do Windows e da Área de Trabalho Remota (ela não cobre as licenças dos aplicativos que você instala na imagem). Dê uma olhada no site do aplicativo remoto para ver se isso funcionará para você.