Isso pode ser feito facilmente com rctl
. Você executaria o daemon de ftp com um UID exclusivo e limitaria o número de processos a esse UID. É isso.
Você pode precisar recompilar o kernel com
options RACCT
options RCTL
e você pode usar o rctl assim:
rctl -a user:ftp:maxproc:deny=11
Dê uma olhada em man rctl
e você vai adorar;)