Encontrei o que procurava depois de ver a sugestão do @ surfasb.
HKCU \ Software \ Microsoft \ Windows \ CurrentVersion \ Explorer \ RecentDocs
Eu posso deletar seletivamente os arquivos que estão faltando, ou eu posso deletar todos eles ou através das subchaves ext do arquivo.