Você pode configurar o Performance Monitor para registrar a memória usada por processo. Sob os contadores disponíveis, role para baixo até o objeto Process e expanda-o. Adicione Bytes Privados, Conjunto de Trabalho e Conjunto de Trabalho Privado. Certifique-se de selecionar para que ele mostre uma divisão por processo individual em vez de totais. Isso mostrará a memória alocada por processo e, esperamos, indicará o culpado.
Normalmente, as máquinas não ficam tão ruins quando a memória fica tão baixa. Mas pelo menos é o único lugar que você pode começar agora.