" signal out of range
" significa que o driver que você está tentando usar (fglrx) está tentando exibir uma resolução não suportada pelo seu monitor. Se você ler a documentação no fglrx, tenho certeza de que existe um método de linha de comando para alterar a resolução padrão do driver.
Se você não estiver executando jogos ou programas com muitos gráficos intensos, não poderá usar o driver padrão Nouveau do Linux em vez de instalar drivers de placa de vídeo proprietários? Se for um novo cartão, talvez ainda não tenha suporte ao linux para o driver proprietário.
Além disso, sim, se você estiver tentando instalar o software em um sistema operacional de 32 bits ou em uma máquina, isso não funcionará. Se a sua máquina é de 64 bits, por que você não pode simplesmente inicializar a partir de um CD live de 64 bits e reinstalar, substituindo a versão de 32 bits do Ubuntu?
Se você inicializar a partir do live-CD de 64 bits e usar isso para tentar instalar o software em um sistema de 32 bits já instalado, e realmente permitir que você o faça em primeiro lugar, quando você reinicializar para o HD ele irá quebrar quase garantido. O que mais uma vez levanta a questão: por que você não pode simplesmente usar um sistema de 64 bits em sua máquina?