Eu encontrei a resposta. Eu tive que configurar meu servidor upstream como meu próprio relógio com o endereço IP 127.127.1.0 para fazer o relógio do meu servidor sincronizado.
A resposta do servidor ESXi mostra que o indicador de salto é 3 e o estrato do servidor é 0. Isso significa que o servidor ESXi NTP está executando de forma não sincronizada e não pode fornecer um tempo de referência válido para os clientes. De acordo com a RFC 4330, os clientes do Simple NTP (SNTP) não devem usar o tempo em um pacote de resposta NTP se o estrato retornado for 0 (e o indicador de salto for 3).