Sim, apenas o ntpd
normal fornece isso. Veja man ntp_misc
e procure por interface
. Você deve encontrar:
interface [listen | ignore | drop] [all | ipv4 | ipv6 | wildcard | name
| address[/prefixlen]]
.
.
Adicione a diretiva interface
ao seu /etc/ntp.conf
com o endereço desejado que você deseja usar.