Primeiramente, seus motivos para criar o diretório de compartilhamento FAT estão errados. Apenas o computador que monta a unidade ou a partição precisa ser compatível com o sistema de arquivos. Depois disso, é apenas um recurso de rede. Se você deseja armazenar arquivos maiores (por exemplo, Filmes), então você acabou de filmar a si mesmo no pé, porque o tamanho máximo do arquivo em FAT32 é 4Gb. Sua biblioteca é muito melhor em um sistema de arquivos com suporte como o ext4 por razões de confiabilidade, utilidade e velocidade.
O rsync funciona bem escrevendo para partições FAT - Eu faço isso o tempo todo, pois alguns dos meus backups pendrive são FAT. No entanto, você perde todas as informações de proprietário e permissões, já que o FAT não tem como armazenar essas informações, mas é um ponto discutível, já que eu recomendo que você descarte o uso do FAT32 para o seu dispositivo de armazenamento em massa. Olhe para os switches -av para rsync - ie
rsync -av ~/Downloads/Movies/ /Path-to-Destination/Movies
Que funcionará exatamente como você deseja.