Acho que as regras de filtro do rsync não podem corresponder ao diretório de nível superior, por isso é sempre sincronizado. Uma solução é sincronizar todos os arquivos dentro desse diretório em vez do próprio diretório.
rsync -rlptDu -- * server.example.com:/usr/local/directory/
Adicione .[!.]*
após *
se você tiver arquivos de ponto no diretório superior e ..?*
se tiver nomes de arquivos que iniciem com dois pontos.