Usando a diretiva chroot dentro da configuração do php-fpm, deve garantir segurança suficiente; então permitir que os usuários fiquem apenas dentro do ftp chroot (ou scp), seria suficiente com a configuração correta do Apache (não deixe links simbólicos enganá-lo!: P).
Então, ter tudo chrooted, deve ser o suficiente: você nem precisaria definir permissões nos arquivos, pois eles não seriam legíveis em outro ambiente chroot. :)
Outras soluções, fazendo com que você evite consumir memória é possível ... basta usar o cache com verniz ou algo semelhante (eu sei que não seria tão fácil de configurar para usuários não confiáveis btw).