Veja setup.sh para ver o que o script fez para instalar o software. Não é particularmente assustador. Afinal, você está fazendo uma pergunta sobre um depurador de engenharia reversa !
A última coisa que o instalador faz é adicionar esta linha (com o $ PWD expandido para o caminho do seu clone do git) para o seu arquivo ~/.gdbinit .
source $PWD/gdbinit.py
Se você remover essa linha, você efetivamente desativará o pwndbg.
Então você está livre para remover o diretório pwndbg (o clone do git).
O script de instalação também instalou (via pip) os pacotes do Python listados no arquivo requirements.txt . Em geral, você pode pip uninstall daqueles que não deseja. Mas você precisa ter cuidado - usar o Pip para instalar pacotes pode acabar substituindo aqueles que o seu gerenciador de pacotes distro instalou, levando a incompatibilidades.
O Pwndbg realmente deve usar o virtualenv para configurar um ambiente virtual apenas para si, para evitar interferir no dis dos pacotes.
Relacionados: