Existe firewall impedindo o tráfego UDP?
Além disso, o NTP geralmente corrige o tempo muito lentamente. Você pode tentar parar o seu ntpd e executar algo como
ntpdate pool.ntp.org
E veja o que é produzido. Se é algo como
17 Feb 20:03:13 ntpdate[3046]: adjust time server 194.100.2.198 offset -311.135718 sec
então corrigiu esse deslocamento com sucesso. Depois de iniciar o ntpd novamente, mantenha o relógio sincronizado.