No Ubuntu 12.04, existe o 'Privacy', um software que vem pré-instalado que permite personalizar o que será e o que não será armazenado pelo Zeitgeist que o painel usa para procurar conteúdo.
Então, vá em frente e pesquise no seu sistema por privacidade e observe suas funções. É bem direto a partir daí. Você acabou de selecionar as pastas com o conteúdo que você não deseja que sejam exibidas.
Boa sorte!