Nada está errado aqui. Seu cartão tem basicamente HyperMemory (embora eu não ache que eles usem mais esse termo). Ele não pode ter essa memória se um processo de host precisar dele, portanto, não reduzirá a velocidade do seu sistema, exceto em algumas situações muito improváveis.
Você está certo sobre a associação entre esse recurso e as placas gráficas de baixo custo, mas hoje em dia até as mais caras têm isso de alguma forma ou de outra.