O HAProxy tem que ser um servidor de alta largura de banda. Ele precisa ter pelo menos a largura de banda dos servidores backend combinados, para não estragar tudo. No melhor dos casos, você tem um pouco de espaço para a esquerda. Uma conexão de 10GBps pode ser boa para o começo.
Por outro lado, não precisa do maior CPU. É isso que "as pessoas" podem significar. Como os servidores de backend podem se concentrar nos cálculos, o HAProxy só precisa rotear o tráfego.