Como isso acontece usando vários aplicativos de produtividade intensivos em GPU simultaneamente, talvez você esteja superando os recursos da placa gráfica ou da memória do sistema, mesmo que pareça ter muito.
No Photoshop CS5, vá para Editar > Preferências > Desempenho e ajuste algumas das configurações. Os que eu tentaria reduzir o uso de memória, desabilitar o OpenGL Drawing e talvez reduzir os níveis de cache. Eu não estou familiarizado com o Maya, mas talvez tenha configurações semelhantes para usar menos recursos de RAM ou GPU.