Você deve usar rrsync
(provavelmente disponível em seu sistema, por exemplo, em /usr/share/doc/rsync/scripts/
) e associar uma linha em seu arquivo authorized_keys com a chave pública instalada lá para o rsync:
command="$HOME/bin/rrsync -ro ~/rsyncdir/",no-agent-forwarding,no-port-forwarding,no-pty,no-user-rc,no-X11-forwarding
Se necessário, mais detalhes podem ser encontrados aqui e < a href="http://www.guyrutenberg.com/2014/01/14/restricting-ssh-access-to-rsync/"> aqui