Então baixei o script e parece que tudo o que ele faz é inserir sua própria URL do repositório em sua lista de fontes e então usar o gerenciador de pacotes apt-get para instalá-lo.
Para remover, é muito simples, basta abrir um terminal e digitar:
sudo apt-get remove heroku-toolbelt
Além disso, como uma palavra de advertência, tente não usar scripts escritos por outros para instalar aplicativos. Alguns deles podem conter comandos extremamente perigosos que podem causar danos irreversíveis aos seus dados. Se você não tiver certeza de como instalar um aplicativo, você sempre pode pesquisar Ask Ubuntu para perguntas e respostas semelhantes.