Não, você não deve configurar um sistema de arquivos específico no samba.
O Linux geralmente usa o UTF-8. Você deveria usar isso. O Samba negocia automaticamente com seus clientes a codificação e converte os nomes dos arquivos em tempo real.
Eu não tenho idéia sobre o netatalk, mas não deve ser necessário.
Em relação ao sftp, simplesmente não o use para janelas. O Windows assume que os arquivos serão codificados com uma codificação como página de códigos 1252. Use o samba que fará as conversões necessárias rapidamente e você economizará muitos problemas.
Boa sorte,
João Miguel Neves