apt-get remove
apenas remove os pacotes, não remove os arquivos de configuração associados do pacote.
apt-get purge
é o snippet de comando usado se você também quiser remover os arquivos de configuração de um pacote. Teste sua aplicação com isso e você deverá obter o resultado necessário.
Veja também:
- link
- manpage para o comando
apt-get