Você pode ler o manual do apt com
man apt
Na linha 35 você encontrará o seguinte
Removing a package removes all packaged data, but leaves usually
small (modified) user configuration files behind, in case the
remove was an accident. Just issuing an installation request for
the accidentally removed package will restore its function as
before in that case. On the other hand you can get rid of these
leftovers by calling purge even on already removed packages. Note
that this does not affect any data or configuration stored in your
home directory.
Então, em suma:
remove
deixa alguns arquivos de configuração atrás de onde purge
não. E você ainda pode usar a limpeza se depois quiser excluir esses arquivos de configuração.