É bom que você não precise confiar no LB (load-balancer) para as informações da sessão.
Sua necessidade de velocidade leva a IMHO a LVS e a abordagem de "direcionamento direto". Você pode fazer o roteamento direto sem usar o mecanismo ip_forward. Eu configurei isso usando uma rede lvs dedicada dos LBs para os servidores reais.
Agora, para a "necessidade de velocidade": com o roteamento direto, o LB recebe as solicitações recebidas, altera seu MAC de destino e as coloca na linha para o RS. Agora o RS tem que ter o IP lógico na rede LVS (mas não deve responder às solicitações arp para esse IP). O RS atenderá a solicitação e responderá DIRETAMENTE ao cliente - a resposta de retorno não voltará pelo LB, minimizando assim a carga no LB.
Além disso, o tráfego de entrada é muito mais baixo do que o tráfego de saída - de acordo com suas necessidades.
O último ponto fraco é a disponibilidade do LB itselv. Você pode agrupar o LB com outra máquina que assume o IP lógico (e lvs). Já que a aderência da sessão não é problema em sua configuração - isso é tudo que você precisa fazer.
Eu achei o lvs-kiss uma boa possibilidade de reconfigurar dinamicamente o lvs - mas existem outras soluções para isso.
BTW - a maioria dos servidores em que usamos o LVS é o CentOS 5.
Atualização 2011-11-11: heartbeat-ldirectord é um addon para heartbeat e então você não precisa de lvs-kiss - se você quiser cluster de qualquer maneira.