As conexões listadas no primeiro parágrafo são ESTABELECIDAS ou estão em processo de limpeza após terem sido usadas. Estabelecido significa o que o nome implica. Uma conexão é estabelecida entre um dos seus usuários e o HAProxy. Uso como pretendido.
Os outros estados mencionados no primeiro parágrafo indicam que uma conexão previamente estabelecida terminou a transferência de dados. A melhor maneira que eu posso explicar isso é com um diagrama.
Resumidamente: Se você tem um monte de FIN_WAIT 1 e FIN_WAIT 2's, então não há nada errado com o servidor. Você está simplesmente esperando que os clientes terminem.
Como não é um problema com o servidor, adicionar mais usuários não deve ser um problema até que você atinja os limites da rede do kernel. Você não postou o que eles são, então eu não posso comentar sobre como você está perto deles.