Você pode confirmar se o problema persiste quando você coloca
protect media/**/*
na parte superior do seu .rsync-filter
?
No seu exemplo, está na parte inferior do filtro.
Na página do manual do rsync :
Note that if you are supplying your own filter rules, you may need to manually insert your own exclude/protect rule somewhere higher up in the list so that it has a high enough priority to be effective (e.g., if your rules specify a trailing inclusion/exclusion of oq*cq, the auto-added rule would never be reached).