Estou com esse problema, mesmo em uma máquina de 64 bits com 4 GB de RAM. Acontece que é um problema conhecido no Mercurial no Windows:
Arquivos essencialmente grandes no repositório estão causando fragmentação de memória, o que impede que as alocações de memória sejam bem-sucedidas no Windows. Infelizmente o problema ainda não está resolvido e a última discussão sobre o ticket é de dezembro do ano passado. Parece que as opções neste momento são:
- Execute uma versão de 64 bits do mercurial. ATM, não vejo nenhum disponível para download fácil no Windows, isso pode precisar ser construído
- De alguma forma, reduza o repositório para remover apenas os arquivos grandes, se possível.