awk '/^Remove/' /var/log/apt/history.log
Isso mostrará os pacotes removidos mais recentemente, o mais antigo no registro será o primeiro. Histórias são arquivadas ao longo do tempo, então você pode achar que precisa verificar arquivos antigos (eu tenho 12 arquivos numerados) para verificar o primeiro:
zcat /var/log/apt/history.log.1.gz | awk '/^Remove/'
Ou você pode fazer tudo de uma vez:
zgrep -E --color '^Remove' /var/log/apt/history*
Não tenho certeza se isso pode ser útil, já que provavelmente mostrará muitas informações.