recoll é a resposta - sugestão do comentário: aqui
Isso é possível em princípio?
Parece-me que ferramentas de pesquisa como gnome-search-tool, Catfish e Searchmonkey podem pesquisar arquivos de texto, mas não dentro de outros documentos mais complexos, como o pdf ou extensões gerenciadas pelo LibreOffice. Estou faltando alguma coisa aqui?
Existem programas que poderiam conseguir isso?
Não tenho uma sugestão de aplicação gráfica, mas sim é possível. Uma ferramenta de linha de comando para isso é pdfgrep
.