Você pode tentar:
sudo apt-get remove 'cat packages.txt'
Isso deve ignorar os pacotes que você não instalou. Não tenho certeza do que aconteceria se um pacote "não puder ser removido" (desde que eu nunca vi isso acontecer antes).
Não deixe de inspecionar a lista " The following packages will be REMOVED:
" para garantir que nada inesperado seja removido.