Tenho 64Bit Ubuntu instalado e uma placa gráfica MSI.
Alguma idéia de por que isso pode estar acontecendo? 
Verifique no BIOS da placa-mãe por uma opção similar a "map around around memory hole". O chipset da sua placa-mãe pode não suportar esta opção.
Mais antigos, especialmente os laptops, os chipsets (por exemplo, o chipset Intel 945p) não suportavam endereçamento de memória de 64 bits e tinham um limite máximo de 4 GB, mesmo no modo de 64 bits. Se esse for o caso do seu sistema, então esta é uma limitação de hardware que não pode ser resolvida sem substituir o chipset (placa-mãe).
É um VGA integrado? Nesse caso, alguns compartilharão a memória principal e, portanto, não estarão disponíveis para os aplicativos.
A memória faltando na placa gráfica ou na memória do seu computador? Como você determinou que apenas 3,2 GB estão aparecendo?
Se for uma questão de memória disponível, você pode verificar o Monitor do Sistema (em Configurações do Sistema) e procurar na guia Processos e depois clicar em "Memória" para colocar os processos em ordem para ver facilmente quais estão usando mais memória. A guia Recursos mostrará a memória total em seu sistema, bem como o quanto está sendo usado.
Você precisa instalar o kernel pae. Isso permitirá o uso de memória em um computador com mais de 4 GB
Na maioria das vezes, você pode instalar com:
sudo apt-get instala linux-generic-pae
Quando você reiniciar, deverá ver o tamanho correto da memória.