Basicamente, o acesso SSH dá ao usuário distante os mesmos direitos que o usuário local. Isso foi projetado para.
Se você quiser limitar o acesso de um usuário SSH a um lugar específico. O melhor é criar uma conta local para esse uso. Que é permitido ver pelo menos sua pasta específica.