Um balanceador de carga adicionará um pouco de latência à sua taxa de transferência, o que não muda.
Onde 'melhor desempenho' entrar para jogar é quando você começa a bater concorrência que iria inundar um único servidor. Com um balanceador de carga, você pode distribuir a carga por todo um farm de servidores. É aí que o 'melhor desempenho' que o balanceador de carga oferece é importante.