Se você não quiser usar o cabeçalho X-Forwarded-For e encerrar o SSL no HAProxy (ou antes dele), mas quiser encerrar o SSL nos servidores de backend - então deve haver pelo menos duas soluções fornecer IP do cliente no back-end:
1) Use o Protocolo de proxy no HAProxy (ainda não o testei)
2) Use LVS com Roteamento Direto