A versão curta: provavelmente é seguro.
A versão mais longa: o comportamento que você está vendo é completamente normal e esperado. O pool NTP é um pool dinâmico que provavelmente será alterado toda vez que o TTL do DNS expirar.
Cada host no pool é monitorado pela infraestrutura do pool NTP e, se relatar um tempo que esteja muito longe do aceitável, ele será removido do pool. Você pode visualizar os registros de monitoramento de cada host no link (onde IP é o endereço IP do servidor). por exemplo. Quando eu olho para cima 0.centos.pool.ntp.org na minha máquina agora, eu recebo estes endereços:
Supondo que seus requisitos de sincronização de tempo são médios (em termos de compensação do tempo real), a melhor prática comum é configurar de 4 a 6 servidores em sua própria rede que sincronizam com 4 a 6 servidores no pool e apontar hosts internos para esses servidores locais. Eu falei sobre isso com mais detalhes no Linux.conf.au sysadmin miniconf (última palestra na página).
EDIT: Observe que alguns servidores de pool também são nós de retransmissão ou de saída TOR. Isso às vezes faz com que os usuários do NTP pool tenham problemas com seu IDS / IPS excessivamente zeloso ou mesmo com seu ISP. Consulte o link para um exemplo recente.