Algumas coisas que você precisa verificar:
- carga da CPU e uso de RAM
- Disco IO
- Desempenho de rede
- Teste o samba4 em outra distribuição - link
Comandos úteis:
top
htop
iotop
Estou executando o samba4 do Wheezy Backports, a média de velocidade de cópia é de 40MB / s.