Bem, o borg-backup precisará de acesso de leitura / gravação, além da capacidade de acessar o diretório. Assim, as permissões mínimas seriam 0700 (u + rwx) no diretório da conta de usuário que está executando o comando borg-backup.
Observe que, se o repositório da borg estiver localizado em um sistema de arquivos sempre montado, que pode ser gravado pelo usuário atual, seus backups estarão vulneráveis a acidentes, como a exclusão acidental ou o malware de criptocontador.