Sim, você não pode confiar na manipulação do cabeçalho para afetar as ACLs - elas não são aplicadas na ordem após a desconexão.
No seu caso, você pode facilmente alterar a lógica
http-request allow if ip_allow
http-request allow if lb_allow from_internal
http-request deny