O comando apt-get --purge remove existe desde que o APT foi adicionado ao Debian e costumava ser a única maneira de remover completamente um pacote com o apt. O comando apt-get purge foi finalmente adicionado nos últimos anos, a opção antiga não foi removida e ainda há muita documentação mostrando a sintaxe mais antiga. Eles fazem exatamente a mesma coisa.
Muitas vezes ainda uso o comando mais longo apt-get --purge remove simplesmente porque o usei com mais frequência e esqueço que a versão mais curta está disponível agora.
Uma outra coisa útil a ter em mente é que a opção --purge pode ser usada com o apt-get autoremove e não é equivalente a apt-get autopurge . Então, se você usar a opção apt-get autoremove para remover pacotes automaticamente instalados, você terá muitas configurações antigas dos pacotes, já que você os removeu.