Você deve usar o comando autoremove sub:
sudo apt autoremove kontact
De man apt :
autoremove é usado para remover pacotes que foram instalados automaticamente para satisfazer dependências de outros pacotes e agora não são mais necessários dependências alteradas ou o (s) pacote (s) que as necessitaram foram removidas entretanto.
Você também pode usar --purge para remover arquivos de configuração também:
sudo apt autoremove kontact --purge
Se autoremove funcionar para você, então você deve fazer isso manualmente, executar algo como:
grep kontact -A10 /var/log/apt/history.log
para ver quais pacotes estão instalados por kontact , remova-os manualmente.