Bem, resolver isso é magia negra. Tente com a troca de slots e paus. Outra coisa poderia ser ordem em que os paus foram inseridos. Tudo isso não deveria realmente ter nenhum efeito na quantidade de RAM detectada, mas eu vi algumas placas-mães temperamentais que detectam RAM somente se certos sticks estão em certos slots e se os sticks estão inseridos na ordem correta.
Basicamente, tente experimentar diferentes arranjos. Além disso, pegue algum utilitário de teste de memória, como o memtest86 + formulário link e use-o entre as tentativas de ver se todos os bastões são bons. Pode ser que alguns sejam danificados pela eletricidade estática.
Sobre a RAM reservada pelo sistema: A menos que você tenha uma placa gráfica integrada ultrajante, ela não deve levar mais do que alguns MiBs no máximo.
Além disso, verifique se há alguma incompatibilidade conhecida com sua placa-mãe, sua RAM e sistema operacional. Por exemplo, as placas-mãe nForce 2 não funcionam (ou funcionam bem) com o Vista ou 7, se tiverem mais de 2 GiBs de RAM.