O Windows XP não suporta vários drivers gráficos. No entanto, quadro e geforce são ambos feitos pela Nvidia, então você provavelmente pode ter ambos trabalhando juntos. A AMD e a Nvidia juntas não podem ir.
No que diz respeito à memória de vídeo, parece haver alguma confusão quanto ao seu uso. Primeiramente, a memória de vídeo é usada para armazenar os dados para que a GPU possa converter os dados de exibição brutos nos pixels que serão exibidos na tela. No entanto, nos últimos anos, a GPU tem sido usada para mais e mais aplicativos. No seu caso, você não executa nenhum aplicativo que exija cálculos avançados em 3D, portanto, você deve conseguir executar no máximo 64 MB para todos os quatro monitores (embora isso obviamente dependa da resolução que você está executando). Dado que seu aplicativo de plotagem, no entanto, depende da memória de vídeo para executar suas plotagens e cálculos, você deve ser sensível à quantidade total de memória de vídeo que possui. Isso (deve ser) independente do monitor no qual o aplicativo de plotagem está ativado, mas é mais uma função da GPU específica usada para os cálculos e da quantidade de memória disponível para essa GPU.
Se você nos der mais informações sobre o aplicativo de plotagem, podemos fornecer uma resposta mais específica.