Se você estiver executando a edição do Windows Server 2003 x86 Standard, a única coisa que você pode fazer é atualize para uma edição diferente . Se você estiver no x64, verifique o manual da placa-mãe para quaisquer limitações ou requisitos de RAM.
Além disso, tente garantir que os 3 GB adicionados funcionem por conta própria. Se o fizerem, tente executar uma versão x86 bootcd do Linux e veja se ele inicializa e funciona bem.