Dê uma olhada no rssh que é um shell alternativo que permite acesso limitado a um sistema.
rssh is a restricted shell for providing limited access to a host via ssh(1), allowing a user whose shell is configured to rssh to use one or more of the command(s) scp(1), sftp(1) cvs(1), rdist(1), and rsync(1), and only those commands.
Você pode configurar quais comandos podem ser usados por usuário ou por todo o sistema usando o rssh.conf arquivo
Alternativamente, você pode usar scponly para fazer o que quiser. Ele age como um wrapper para o pacote ssh e permite a transferência de arquivos, mas não o acesso ao shell.