Se você estiver usando o balanceamento de carga de rede (com pools de destino), o balanceador de carga manterá o IP. O que acontece é que o Kubernetes está alterando o IP de origem com os IPs do cluster / nó.
O Kubernetes possui um recurso para preservar o IP de origem do cliente. Você pode verificar nos documentos como preservar o IP de origem do cliente nos serviços com Type = LoadBalancer (balanceamento de carga de rede).