Isso pode oferecer programas aos quais você menos acessa:
find /usr/bin -type f -exec stat --format '%X :%x %n' {} \; | sort -nr | cut -d: -f2- | tail
Isso é apenas arquivos. E a data mais antiga é quando você usou o programa ou pela última vez.
Você não especificou sua distribuição. Na distribuição rpm você percorre os pacotes (rpm -qa) e passa a lista de seus arquivos (rpm -ql PACKAGE) e então obtém o novo tempo de acesso daquele pacote (stat --format '% X:% x% n' {} \; | sort -nr | cut -d: -f2- | head) e, em seguida, imprime-o como nome de "$ newest_access $ package_name" e canaliza-o para ordenar -nr | cauda e você tem menos pacotes usados.