Ouvir localhost faz sentido se você deseja executar consultas na caixa local. Por exemplo, ntpq -p localhost
consultará o serviço ntp em execução na sua caixa local.
Em geral, você provavelmente deseja que o ntpd ouça todos os endereços reais para os quais precisa enviar ou receber atualizações. Se você está rodando o ipv6 você precisa listar os endereços ipv6 também, caso contrário, apenas liste os endereços IP do servidor real e o localhost ipv4.