Lembre-se de que o nginx registra um 499 quando, de sua perspectiva, o cliente com o qual estava falando encerrou a conexão.
Lembre-se também que o CloudFlare não é a única coisa que fala com o seu servidor web. É possível que os clientes o visitem diretamente, e muitos o fazem. Se você está usando o CloudFlare, muito desse tráfego é o ruído de fundo da Internet e o restante é malicioso.
É muito possível que um cliente que fez uma conexão direta com o seu servidor tenha desconectado a conexão, resultando no 499. Você verificou o endereço IP diretamente conectado?
No geral, 1 em 4000 solicitações é muito bom. Eu vejo isso com muito mais frequência.