Talvez ls -rtlc faça o que você deseja. É ordenado pelo tempo de alteração do inode (ctime). O tempo de troca de inode muda sempre que alguma coisa sobre o arquivo muda, exceto pelo seu tempo de acesso, ou seja, fazer qualquer outra coisa além de ler altera o tempo (criando, escrevendo, movendo, alterando atributos, etc.). Portanto, contanto que você não tenha movido os arquivos ou alterado suas permissões, o ctime ainda deve ser o tempo de download.
Se o tempo de download não for o que você quer, tenho medo de que você esteja sem sorte. Qual processo acessado em um arquivo não é registrado. O tempo de acesso do arquivo é atualizado em cada leitura (ou em algumas leituras, no sistema Linux moderno, sacrificando a conveniência pelo desempenho), não importa qual aplicativo lê o arquivo. Não há distinção entre ler com um leitor de PDF e ler com um aplicativo de auditoria ou indexação.
Se você quiser saber quais arquivos visualizou recentemente, poderá verificar se o próprio visualizador de arquivos mantém um histórico do arquivo que foi aberto. Muitos programas de GUI mantêm uma lista dos arquivos abertos mais recentemente, mas eles geralmente não oferecem um fácil acesso programático.
Se você chamou o visualizador da linha de comando, tente o histórico do shell. Dependendo de como você configurou o seu shell, seu histórico pode ou não estar completo e pode ou não ter o registro de data e hora.