Pessoalmente, eu tentaria executar o Wireshark para capturar o tráfego entre o servidor ISC DHPC e seus servidores DNS do Windows. O registro do DNS da Microsoft certamente não é perfeito, então isso seria útil.
Dito isso, você está restringindo as atualizações no DNS para "proteger" as atualizações (ou seja, somente conexões autenticadas)? Em caso afirmativo, meu palpite é que o servidor do ISC não pode autenticar na infraestrutura DNS do Windows e as atualizações estão falhando. Eu tentaria transformar atualizações não seguras nesse caso, supondo que essa seja uma rede privada / confiável.