Tenho certeza de que você poderia hacká-lo de alguma forma, mas provavelmente não vale a pena o esforço. OpenDirectory é muito simples de configurar e irá trabalhar com tudo o Mac pronto para uso. Você pode comprar um Mac Mini com o Snow Leopard Server por US $ 999 e estar em funcionamento em uma hora.
Se você está realmente precisando de dinheiro, então você deve ir a rota Kerberos + LDAP com um servidor Linux. Ele deve funcionar tão bem, mas você perderá alguns recursos do OpenDirectory, como o gerenciamento de clientes. Um número limitado de serviços trabalha com o PAM, mas a maioria não o utiliza e autentica diretamente em um diretório (leia-se: Kerberos).
Praticamente tudo no ecossistema Mac depende do Kerberos para SSO, portanto, você deve se familiarizar com ele. Eu recomendo Kerberos: The Definitive Guide para uma visão geral dos conceitos.