Como mencionado anteriormente, isso não é realmente um balanceamento de carga, mas é possível.
Tente algo como:
frontend http-in
bind *:80
# urls
acl host_foo hdr(host) -i www.foo.com
acl host_bar hdr(host) -i www.bar.com
acl host_zoo hdr(host) -i www.zoo.com
# clusters
use_backend foo_cluster if host_foo
use_backend bar_cluster if host_bar
use_backend zoo_cluster if host_zoo
backend foo_cluster
mode http
balance roundrobin
option forwardfor
server server1 ip_other_webserver:81 check
backend bar_cluster
mode http
balance roundrobin
option forwardfor
server server1 ip_other_webserver:82 check
backend zoo_cluster
mode http
balance roundrobin
option forwardfor
server server1 ip_other_webserver:8080 check