Você não menciona se está usando o Vista de 32 ou 64 bits?
Faz a diferença na resposta, o Vista de 32 bits (e XP) só pode usar 4 GB de RAM no total, o que inclui a RAM na sua placa de vídeo. Então, se você tem 4GB de RAM na placa-mãe + 512MB na placa de vídeo, o Windows só poderá usar 3,5GB para si e programas como a placa de vídeo terá reservado os últimos 0,5GB para si. Além disso, se você estiver executando o Windows de 32 bits e já tiver 4 GB de RAM, não há razão para adicionar mais RAM, pois o Windows não poderá usá-lo.
Deste ponto de vista, se você não jogar ou usar qualquer outro aplicativo pesado em 3D, não precisará de uma RAM de vídeo maior. Sua placa de vídeo quase certamente está acelerando vídeos e assim por diante, mas não precisa de uma quantidade enorme de RAM on-board para isso.
O Windows de 64 bits é diferente, já que pode endereçar uma grande quantidade de RAM, portanto, a quantidade em sua placa de vídeo não é uma preocupação e você pode deixá-lo no máximo.
Linux, não faço ideia.