Eu não sei que tipo de domínio você quer que não pode ser configurado com o Samba ... Se eu entendi bem, você provavelmente quer um domínio de diretório ativo, que pode ser feito com Samba 3 (muito complicado) ou Samba 4 (ainda bastante complicado, mas mais fácil).
Se você quiser experimentar o Samba 4, recomendo usar o este appliance do SerNet, que usei recentemente para configurar um domínio do diretório ativo.