Esta não é uma configuração suportada. Também parece desafiar um pouco de lógica. Por que tantos portos? (Por que portas reservadas e privilegiadas? Talvez 100-200 seja um exemplo ...)
Se os 101 listeners de back-end estiverem fornecendo um serviço diferente, você precisará de 101 front ends e back ends (ou "listen" proxies, que podem conter ambos). Se eles não estão fornecendo um serviço diferente para cada um, então você não precisa de 101 ouvintes no HAProxy, mas você ainda precisa dos backends.