Quando o NSD escuta em todas as interfaces, ele permite que o SO faça a seleção do endereço de origem. Sempre especifique explicitamente os endereços que você deseja que o NSD ouça (por exemplo, todos os IPs de seus registros NS). No seu caso:
server:
ip-address: a.b.c.124
Este tópico na lista de discussão do nsd-users descreve o mesmo problema (a parte do IPv6 é irrelevante).