Pode ser um problema com permissões, que não podem ser preservadas se forem diferentes do valor predefinido, quando a partição FAT32 foi montada. Há também um tamanho de arquivo máximo de 4 GiB em FAT32.
Então eu acho que ajuda a usar um formato de sistema de arquivos ext em vez de FAT32, e eu sugiro que você use o sistema de arquivos ext4.
Se você usar esta unidade somente para backup e talvez uma restauração ocasional, tudo bem.
Se você pretende executá-lo muito, por exemplo, inicializá-lo, você deve considerar o aspecto de desgaste e usar a opção de montagem noatime e remover o registro no diário. Isso é bom para reduzir o desgaste, mas dificulta a recuperação de erros, por isso acho que você deve pensar duas vezes antes de fazer esses ajustes.
Se ainda houver problemas, você pode considerar o uso de tar (com sudo), que pode ser mais confiável se houver erros de sincronização com o rsync. Tar escreve em um único arquivo.