Este não é um problema ldirectord per se, mas sim um problema NAT, que ldirectord (ou melhor, ipvs, que é o mecanismo subjacente que o ldirectord configura) é meramente a vítima atual de.
O que está acontecendo é que o endereço de destino do pacote inicial está sendo alterado, mas o endereço de origem não está. Isso significa que, quando a resposta é enviada de volta, ela é enviada diretamente para o endereço que fez a solicitação, com um endereço de origem da máquina "backend" que recebeu a solicitação.
Isso soa bom, mas o problema é que o solicitante não está esperando uma resposta da máquina backend, está esperando uma do IP virtual, então quando recebe um pacote da máquina backend , cai, porque não acha que é relevante.