Para versões mais antigas do docker instaladas via curl
sudo curl -sSL https://get.docker.com/ | sh
Você pode remover a janela de encaixe com
sudo apt-get remove --auto-remove docker #Removes docker and dependencies
sudo rm -rf /var/lib/docker #Removes all data
Edit: 05/2018: Para versões mais recentes, de acordo com a documentação on-line
$ sudo apt-get purge docker-ce
Para remover imagens, contêineres, volumes ou arquivos de configuração personalizados no seu host que não são removidos automaticamente
$ sudo rm -rf /var/lib/docker