A Microsoft costumava ter algo chamado Services For Unix (ainda está por aí, mas com um nome diferente: agora é "Subsistema para Aplicativos Baseados em UNIX (SUA)") - Entre os recursos incluídos estava um AD-to-NIS gateway que permite que você crie um domínio NIS que seja efetivamente aceito em seu domínio do AD.
Este é provavelmente o caminho de menor resistência para você já que seu ambiente unix é heterogêneo - Qualquer coisa que entenda o NIS entenderá o servidor MS NIS, porque no que diz respeito aos seus sistemas unix ele ainda é apenas um servidor NIS simples.
Outra opção é pam_ldapd (ou pam_ldap + nss_ldap) - Isso consultaria seus servidores AD diretamente & fica longe de algumas das limitações do NIS, mas eu não sei o quão bom é o suporte a netgroup e tal é sobre estes (eu sei pam_ldap + nss_ldap não tem suporte a netgroup de trabalho no FreeBSD).