Isso soa exatamente como o limite de memória "Desktop Heap" que era um problema comum nos dias do Windows xp quando o mIRC era popular.
O problema não é que você esteja ficando sem memória, mas que existe uma quantidade específica de memória RAM dedicada à geração de objetos "desktop", como menus de contexto, janelas e outros detalhes gerados graficamente (ícones também, acredito) .
Normalmente, isso não é um problema para o uso diário, mas alguns programas (como o mIRC, por exemplo) manipulam suas próprias janelas geradas de uma maneira que usa o conjunto de memória do Desktop Heaps (em vez de usar apenas o RAM).
Eu assumi que eles tinham isso fixo desde o Windows XP ou aumentava o limite para algo útil, pelo menos. Este não parece ser o caso e o limite ainda é algo ridiculamente pequeno (estamos falando entre 3-20mb para todo o heap da área de trabalho, o que não é exatamente muito).
Eu poderia entrar em detalhes sobre como consertá-lo, mas agora que você sabe procurar por "Desktop Heap", será possível encontrar o problema / corrigir o problema em pouco tempo. (espero que este seja o problema que você tem, já que pelo que eu me lembro é uma correção relativamente fácil)
EDIT: O problema pode muito bem ser que você tenha um programa que use o Desktop Heap, mas não feche suas janelas apropriadamente depois de finalizar as funções (assim você terá janelas invisíveis não detectáveis que apenas o atrapalham no longo executar), se assim você deve ser capaz de encontrá-lo pesquisando seus prováveis suspeitos. (Não acredito que o uso do heap da área de trabalho apareça no gerenciador de tarefas, mas eu nunca o li profundamente)