Na verdade, o apt-cache não mostra quais pacotes ou até mesmo versões de pacotes você instalou em seu sistema. Ele apenas mostra informações detalhadas de todos os pacotes disponíveis (e suas versões) para o seu sistema. Então não se preocupe com isso.
Se você quiser limpar seu sistema de pacotes antigos, dependências e arquivos em cache (você pode obter muito espaço livre depois de fazer isso):
sudo apt-get update && sudo apt-get autoclean && sudo apt-get clean && sudo apt-get autoremove
É assim tão fácil.