O que eu faço no meu servidor é fazer um grupo para cada site que eu hospedo. Isso permite que apenas o (s) usuário (s) relevante (s) para o site, além do próprio servidor da Web, acessem os arquivos.
O servidor www (e, no seu caso, o servidor FTP também) faz parte deste grupo. O usuário que possui o site, além de qualquer outra pessoa que por algum motivo tenha acesso, também faz parte desse grupo. Dessa forma, posso usar o bit de grupo da máscara de permissão para controlar quem pode fazer o quê:
Owner - r/w
Group - r (and w if needed)
World - nothing
Para a maioria dos arquivos, isso significa que o grup bit deve ser o mesmo que o bit do proprietário, ou seja, 660 e 640 para a maioria deles.