Acho que você precisa colocar a exclusão primeiro. A documentação, seção Seleção de arquivos diz:
% bl0ck_qu0te% No seu exemplo, /home/me/example será correspondido por --include /home/me primeiro, fazendo com que a exclusão seja ignorada.