Resposta curta: Sim , mas não todos os arquivos relacionados ao pacote são excluídos, pois a remoção não remove dados armazenados por pacotes dentro do diretório pessoal ou outros diretórios especiais.
Por definição padrão de expurgo: -
Purge - Purge is identical to remove except that packages are removed and purged. Purge meaning that any configuration files are deleted too.