Infelizmente, você está executando uma configuração bem básica quando se trata do Mudbox. Quanto mais subdivisões você continuar a fazer, mais recursos gráficos serão necessários para renderizar seu modelo. Enquanto você pode ver algum ganho de desempenho com o uso de mais RAM, em última análise, o seu limitado ao que sua placa de vídeo é capaz, e esse cartão em particular é equipado apenas com 512mb de vRAM.