Isso surgiu há algum tempo no lista de discussão ntp e de fato alguns servidores estão acessíveis via IPv6, mas não pool.ntp.org , como você notou você mesmo:
$ host -t aaaa pool.ntp.org
pool.ntp.org has no AAAA record
$ for i in {0..3}; do host -t aaaa $i.pool.ntp.org; echo; done
0.pool.ntp.org has no AAAA record
1.pool.ntp.org has no AAAA record
2.pool.ntp.org has IPv6 address 2001:470:b:862::10
2.pool.ntp.org has IPv6 address 2600:3c00::e:d0bb
2.pool.ntp.org has IPv6 address 2600:3c03::f03c:91ff:fe67:49e9
2.pool.ntp.org has IPv6 address 2001:470:0:2c8::2
3.pool.ntp.org has no AAAA record
Sugiro perguntar novamente na lista de discussão sobre os planos de distribuição do IPv6.