Não existe tal recurso; se o cartão com defeito, então é assim.
Poderia ser um problema de calor, e o reabastecimento de dissipadores de calor pode ajudar.
Mas a resposta para sua pergunta é: Não, não há como limitar quais bits ou bytes de RAM a placa gráfica usa.