Se você está bem em limitar o acesso somente ao SFTP (upload / download de arquivos), você pode dar uma olhada em uma solução SFTP chroot. Algo como o SFTP do Chroot no Ubuntu deve ajudar você a começar na direção certa.
A ideia é bloquear o usuário em um chroot que consiste apenas nos arquivos do site. Desta forma, ele só tem acesso a esses arquivos específicos.
Se você precisar de mais alguma funcionalidade (executando comandos no servidor, acesso total ao console), você pode dar uma olhada em rssh (limitado a rsync / cvs) ou outras soluções envolvendo jailing / chrooting. Mas isso pode se tornar um fardo de manutenção. Nesse caso, acho que você deve se perguntar se um sistema seguro normal com recursos de gerenciamento de permissão padrão não será suficiente para suas necessidades.