Ah - agora fica claro:
My machine is installed in vmware workstation. So, form all the answers, I guess maybe the jitter becomes so large is because that vmware adjust the time. I will see if I am right.
Não execute o ntp em uma VM. O computador host não garante fatias da CPU, portanto, o relógio da VM não é exato. Como você pode ver, o ntp está tentando acompanhar o que parece ser um relógio externo de variação descontrolada e, eventualmente, desiste.
A resposta geral para esse problema é não executar o ntp, instalar as ferramentas do VMware e bloquear o relógio da VM no relógio do host.
A resposta específica depende da versão do Linux que você está executando. Eu tenho algumas notas sobre o CentOS (provavelmente geralmente aplicável a outras distribuições da família RedHat) aqui .