Tente usar
apt-get remove swi-prolog*
Se você instalar o prólogo via apt, muitos pacotes swipl extras também serão instalados (por exemplo, swi-prolog-nox, que é a versão swipl sem uma GUI). Ao usar o curinga, todas essas versões também devem ser removidas