A última versão do ubuntu que empacotou o postgressql 8.3 foi o Hardy Heron 8.04 LTS. É suportado até abril de 2013 no servidor, se você estiver interessado em usá-lo. Exceto isso, você pode instalar os debs daqui:
Você precisará também das dependências e instalá-las manualmente em ordem. Você não receberá nenhuma atualização de segurança e pode simplesmente não funcionar :-( A alternativa de adicionar o repositório hardy ao seu sources.list é possível, mas não para a simulação do coração. Eu sugiro que você faça um upgrade se possível, ou executando um LTS se pacotes de estabilidade e imutáveis forem importantes.