Sim, apenas o ntpd normal fornece isso. Veja man ntp_misc e procure por interface . Você deve encontrar:
interface [listen | ignore | drop] [all | ipv4 | ipv6 | wildcard | name
| address[/prefixlen]]
.
.
Adicione a diretiva interface ao seu /etc/ntp.conf com o endereço desejado que você deseja usar.