Eu mesmo não usei os ALBs, mas tenho conhecimento e qualificações razoáveis da AWS, portanto, lembre-se disso ao ler esta resposta.
O ALB suporta roteamento baseado em host e vários domínios em https usando SNI para que você possa encerrar vários domínios em um ALB . Por causa disso eu acredito que um ALB pode fazer o que você quiser.
Eu pessoalmente usaria o mesmo ALB para vários aplicativos, a menos que causasse algum tipo de problema ou aumentasse demais a complexidade. Eles não são tão caros, mas não são gratuitos, então eu faria isso para manter os custos baixos.
Outros podem ter boas razões para que isso não seja prático / correto, mas minha opinião inicial é que o que você está tentando fazer é razoável. Fazer um protótipo deve ser bastante rápido e fácil.