Sobre o kernel do linux que você está executando, esse custom é compilado? Se bem me lembro, existe uma opção no kernel do linux relacionada a quanta memória o kernel pode acessar (1GB, 4GB ou 64GB com o PAE). Nos kernels de 32 bits, suponho que hoje em dia as distros o definem como padrão em 4GB. Se o seu kernel foi compilado sob encomenda, pode haver uma chance de que ele tenha sido definido em 1GB.
No entanto, a primeira coisa que você deve fazer é verificar o servidor durante a inicialização e verificar a quantidade de memória que o BIOS reconhece. Eu ficaria muito surpreso que um servidor de 2006-2007 não pode lidar com módulos de memória de 1GB.