A maneira mais simples de fazer isso é abrir um terminal e digitar:
sudo apt-get --purge remove postgresql
Isso removerá o pacote postgresql . Pode haver chances de que pacotes adicionais também sejam instalados para que você possa pesquisá-los digitando:
dpkg -l | grep postgres
e purgar todos os pacotes pelo sudo apt-get --purge {nome do pacote}.