A menos que seu servidor final realmente queira saber qual era o endereço IP do cloudflare, se ninguém se conecta diretamente ao haproxy, basta remover option forwardfor
para que ele pare de alterar o cabeçalho X-Forwarded-For.
Se algumas conexões não passarem pelo cloudflare, você poderá usar option forwardfor except cloudflareipaddress
para configurar somente o X-Forwarded-For para conexões diretas.