O "bitness" de uma máquina não tem nada a ver com este processo. Bitness refere-se à quantidade de memória que um processador pode endereçar. As máquinas de 32 bits podem endereçar 4 GB de memória, muito mais do que você precisa para isso. E mesmo se você precisasse de mais, a máquina simplesmente pagaria a memória. O que retardaria o processo, mas não o impediria de funcionar.
Acabei de baixar e instalar o HTML Help Workshop da Microsoft e consegui descompilar e recompilar um punhado de 15 arquivos MB CHM, incluindo um de 25 MB. O problema é provavelmente algo na máquina que está causando um problema, talvez um scanner de vírus. Tente desabilitar todos os scanners de vírus antes de compilar. Você já tentou compilar os CHMs em uma máquina diferente? E por que você pensa que está ficando sem memória?