Aparentemente, é possível (de acordo com a postagem # 3 nesse link). O truque está no formato de arquivo authorized_keys . Existem várias opções que permitem ao servidor restringir os recursos SSH com base na chave usada para autenticar. A opção "command=" permite ao administrador do servidor anexar uma restrição na chave pública - algo como
"any incoming connections that authenticate with this key will execute this command, regardless of what command might have been requested by the user".
Isso pode impedir a execução de SCP e SFTP padrão, mas, se ele fornecer um shell interativo, provavelmente há uma maneira de contorná-lo:
$ ssh user@host 'cat /some/where/whatiwant.txt' > igotit.txt