Para sistemas operacionais Windows, há alguns switches que podem ser definidos dependendo da versão que você está executando para limitar a quantidade de RAM que o SO pode usar: /maxmem e /burnmemory no arquivo boot.ini para 2000, XP e & 2003 e removememory e truncatememory no BCD para o Vista / 7. Os switches têm comportamentos ligeiramente diferentes dos quais você deve ter cuidado.
Para Linux, tenho certeza de que há algum switch do kernel que pode ser adicionado ao seu gerenciador de inicialização para realizar a mesma coisa.
Para outros sistemas operacionais, está totalmente no ar.
Eles conseguiriam o que você quer?