Depende um pouco do que você está realmente tentando fazer.
Se você só precisa de um servidor de arquivos simples, então o Samba é provavelmente um pouco mais complexo para configurar se você não estiver familiarizado com o Linux, mas por outro lado ele é melhor do que o Windows e não requer licença honorários.
Aproximadamente, o mesmo é verdadeiro se você precisar de um controlador de domínio, exceto que a versão estável atual do Samba (3.6) só faz o controle de domínio em domínios no estilo NT4. Para domínios do Active Directory, você precisará do Samba 4, que ainda não foi lançado oficialmente. O Samba 4 não possui alguns recursos do Active Directory presentes no Windows Server, mas é suficientemente completo para a maioria das configurações pequenas. Pode ser alfa no nome, mas é realmente estável e usado na produção por um número de pessoas. O Samba 4 é definitivamente menos polido que o Windows.