Acima de uma certa diferença entre a hora local e a hora da piscina, o ntp irá "executar" a atualização, ou seja, realizar pequenas alterações o tempo todo. Isso é para que o comportamento do seu sistema não salte completamente dos blocos. Aqui está um extrato da página man:
-x Normally, the time is slewed if the offset is less than the step threshold, which is 128 ms by default, and stepped if above the threshold. This option sets the threshold to 600 s, which is well within the accuracy window to set the clock manually. Note: Since the slew rate of typical Unix kernels is limited to 0.5 ms/s, each second of adjustment requires an amortization interval of 2000 s. Thus, an adjustment as much as 600 s will take almost 14 days to complete. This option can be used with the -g and -q options. Note: The kernel time discipline is disabled with this option.
Com a sua diferença de horário atual, levará muito tempo para recuperar o atraso. Sugiro que você faça uma alteração manual para uma diferença menor e observe se isso está funcionando.