Resumindo: você precisa atualizar para o Windows de 64 bits.
Um pouco mais: o sistema pode usar um número de 32 bits para endereçar a memória. Esses 32 bits só podem endereçar 4 GB de memória. A placa gráfica usa um mecanismo chamado Direct Memory Access (DMA) para mover dados entre a RAM, a CPU e a placa gráfica. O DMA funciona fazendo com que os dispositivos PCI se pareçam com RAM no sistema.
Este mecanismo tem que usar endereços dos 32 bits que estão disponíveis para memória. Isso substituirá os endereços usados pela RAM, portanto, você está efetivamente perdendo isso. Não é possível ter apenas uma parte da memória da placa gráfica atribuída para o DMA (pelo menos eu nunca ouvi falar dela), pois isso causaria incompatibilidade entre o driver e o hardware.
Não é apenas a placa gráfica que faz isso, mas todos os dispositivos PCI. Isso explica por que a placa gráfica tem 1083MB de memória compartilhada do sistema, mas há 1290MB reservados. Outros dispositivos que usam DMA podem ser uma placa de rede, placa wifi, placa de som, controlador USB, etc.
Funciona bem no MacOS X, porque é um sistema operacional de 64 bits. Ele tem a mesma quantidade de "memória reservada de hardware", mas como há um espaço de endereço muito maior, ele pode atribuí-lo a endereços que não estão se sobrepondo à RAM.
Sim, eu sei que pulei muitos detalhes e há algumas coisas que são discutíveis, mas eu não acho que seria útil para o OP entrar em mais detalhes.