Eu acho que o problema pode ser que alguns dos RAMs estão trabalhando em uma freqüência que é muito alta para eles, ou a CPU tenta usar Dual Channel com memória que não suporta isso.
Aqui estão algumas coisas para tentar:
- Conecte os sticks de RAM em diferentes configurações. Tente colocar palitos combinados em cada banco. Deve haver 4 slots de memória RAM, dispostos na placa-mãe, para que haja dois pares muito próximos, e há uma distância maior entre os pares. Slots dentro de cada par devem ter sticks de RAM idênticos. No seu caso, um par receberia a memória 2xPC2-5400 e a segunda a memória 2xPC2-6400).
- Tente desativar o canal duplo no BIOS.
- Tente diminuir a frequência de DRAM no BIOS.