Minha sugestão seria não usar o instalador tudo em um em primeiro lugar. O Ubuntu já inclui todas as ferramentas que você precisa para usar o PostgreSQL em seu arquivo de software, incluindo o utilitário de administração gráfica pgAdmin III. E como esses programas fazem parte do arquivo de software, você obtém o benefício das atualizações de segurança do Ubuntu (que você não obterá com um instalador de terceiros).
Não tenho certeza da melhor maneira de limpar após o instalador que você tentou, mas posso dar algumas dicas sobre como configurar o PostgreSQL em um sistema novo.
Você pode instalar o banco de dados com o seguinte comando:
sudo apt-get install postgresql
Em seguida, você pode encontrar instruções sobre como criar uma conta para efetuar login no banco de dados em /usr/share/doc/postgresql-9.1/README.Debian.gz
. Uma vez feito isso, você pode usar o front-end gráfico administrativo, que pode ser instalado a partir do centro de software ou com o seguinte comando:
sudo apt-get install pgadmin3
Se você precisar acessar o PostgreSQL via JDBC, poderá instalar os drivers do Java com o seguinte comando:
sudo apt-get install libpg-java