Seu sistema de arquivos é montado com relatime por padrão. Os horários de acesso não serão atualizados, se já forem mais recentes ou iguais ao tempo de modificação do arquivo.
Esta é uma otimização (com violação de POSIX), para evitar que cada arquivo leia causando uma gravação no disco.
As atualizações de atime aparente não são afetadas pelo buffering. ( lazyatime armazenará em buffer por até 24 horas - mas o tempo de memória será atualizado sempre, e é isso que ls mostrará.)