Dois artigos parecem oferecer soluções para o seu problema:
1: Aumentando o máximo de janelas? diz:
Open Regedit & go to:
hkey_local_machine > system > currentconrolset > control > sessionmanager > subsystems
Open up the Windows string --- there is text in there that includes SharedSection=1024,3072,512 If you change that to SharedSection=1024,4096,512 then you will be able to open up more windows.
No meu vista, o valor é, na verdade, 1024,12288,512
, então estou um pouco cético sobre esse conselho.
Um segundo e talvez melhor artigo é:
2: Visão geral do heap da área de trabalho , que diz:
Every desktop object has a single desktop heap associated with it. The desktop heap stores certain user interface objects, such as windows, menus, and hooks. When an application requires a user interface object, functions within user32.dll are called to allocate those objects.
Session view space for a given session can become fully utilized, so it is impossible for a new desktop heap to be created.
O artigo continua e descreve como diagnosticar o problema usando uma ferramenta gratuita e como aumentar esse espaço ajustando a entrada do registro de KEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management