Você também pode usar
sudo apt-get purge gimpshop
que removerá o pacote com seus arquivos de configuração. Às vezes você quer se livrar de tudo que o pacote trouxe e AFAIK este é o seu caso.
Nas próximas versões do Ubuntu, quando o sistema de arquivos btrfs for o padrão, o apt-get é integrado com os instantâneos do btrfs, para que você possa obter exatamente o estado antes que o pacote seja instalado.