Você não poderá fazer o que quiser, porque um back-end não é um servidor, é um destino - que é um endereço e uma porta.
Executando o HAProxy com vários sites SSL e adoraria definir um único back-end (ele está indo para os mesmos servidores), mas de alguma forma, especifique a porta a ser usada no backend na configuração de front-end, por exemplo:
frontend front01_https
mode tcp
bind 1.2.3.4:443
default_backend https_cluster:1500
Tentando principalmente arrumar minha configuração do HAProxy e tornar as estatísticas mais úteis combinando os back-ends em vez de ter um back-end para cada front-end ou caindo para listen
blocks.
Com o haproxy recente (1.5-dev), você pode usar a diretiva "use-server" para forçar o uso de um servidor específico. Isso evita que você crie tantos backends quanto regras. Você simplesmente coloca as regras no mesmo backend e tem todos os servidores no mesmo lugar. No seu caso, você pode até ter uma seção "listen" com a diretiva "bind" e os servidores nela.
Tags haproxy