Se você tiver recorrido ao uso do sudo no controle remoto e também quiser manter o controle sobre o controle remoto do que está sendo acessado, você também deve considerar usar o rsync como um daemon. Veja man rsyncd.conf
Isso significa que você abre uma porta sobre a qual você pode controlar quais arquivos são visíveis, em que direção os dados podem ir (por exemplo, somente leitura), quando o serviço está disponível e assim por diante. Você não precisa de sudo e pode restringir quais logins de usuários são permitidos.
Em particular, você pode especificar um arquivo de exclusão em /etc/rsyncd.conf
com
exclude from = somefilename