Você pode configurar o Linux para atuar como um controlador de domínio usando o software SAMBA. Portanto, não, você não precisa comprar licenças para o Windows Server simplesmente para logins de domínio.
No entanto, um servidor LDAP comum não é suficiente.
AFIK, você pode até mesmo aplicar políticas de grupo usando software livre, o SAMBA v4 certamente suporta políticas de grupo, embora não esteja claro se você deve realmente licenciar licenças de acesso para cliente. Ferramentas como Likewise Open e Centrify Express, eu acho que alegou fazer isso, embora ambos os sites parecem ter movido ou fechado desde minhas últimas referências. Eu realmente não fiz isso, então não posso ter certeza de como é fácil. O Likewise Open agora faz parte do BeyondTrust.
O SAMBA WIKI também tem algumas instruções básicas, embora pareçam um pouco datadas & parece que você pode fazer a maioria das coisas apenas com o SAMBA, desde que você esteja usando a v4.
ATUALIZAÇÃO:
Para responder à pergunta sobre por que o LDAP sozinho não é suficiente. Embora o Active Directory esteja, de fato, parcialmente baseado nos padrões LDAP, ele possui muitas adições proprietárias específicas para o Windows. Você precisa ter serviços não LDAP que responderão a logins de clientes, ofertas de grupos, licenças, políticas de grupo e muito mais.
O LDAP, por outro lado, é um padrão e um protocolo que saíram do X.500, projetado para fornecer um diretório de usuários corporativo (na verdade, global) e recursos relacionados a sistemas de e-mail baseados em X.400. X.500 foi um exagero para a maioria das coisas e exigiu um cliente muito complexo que era muito pesado para a maioria dos PCs do tempo. Então, o LDAP ( Lightweight Directory Access Protocol) nasceu. Em essência, ainda é apenas um mecanismo para procurar dados de usuários e similares de um diretório muito grande de itens. Tudo o que faz é pegar consultas padrão e retornar resultados de maneira padrão. Há um pouco mais nisso, claro, mas essa é a essência.