Assumindo que o Ubuntu faça o mesmo que o Debian, então suas duas instâncias do PostGreSQL estarão rodando em portas diferentes.
Você pode verificar facilmente os arquivos de configuração para ver qual versão está em qual porta:
$ grep -H '^port' /etc/postgresql/*/main/postgresql.conf
/etc/postgresql/8.4/main/postgresql.conf:port = 5432
/etc/postgresql/8.3/main/postgresql.conf:port = 5433
A maioria dos comandos PostGreSQL toma a opção "-p ####" ou "--port = ####", então você pode usar isso para selecionar a versão que você quer.