squidclient
e squid-cgi
são pacotes separados, desinstale-os também? :)
apt-get --purge squidclient squid-cgi
deve fazer o truque.
Para verificar qual pacote possui / instalou um arquivo específico, digite: dpkg -S /usr/bin/squidclient
por exemplo.