Nenhum desses comandos remove nenhum arquivo no diretório $HOME .
Quando você apt-get remove apt deixará os arquivos de configuração (do sistema) em /etc no lugar. Quando você apt-get purge apt removerá os arquivos de configuração (do sistema) em /etc .
Veja link para detalhes
Nenhuma das opções removerá os arquivos de configuração do diretório home ( $HOME ), mas eles devem ser removidos manualmente.
Assim, quando você re-instalou, reutilizou todos os arquivos que você já tem.
Para remover todas essas coisas adicionais, execute
rm -rf ~/.config/google-chrome