Supondo que esteja instalado a partir de pacotes,
sudo apt-get remove postgresql-8.4
Ou isso não funciona e você precisa de algo mais envolvido? Por favor, poste mais detalhes em caso afirmativo.
Você pode obter uma lista de pacotes relevantes para remover com:
dpkg -l | grep postgresql