Arquivo CHM de 60 MB - realmente um grande problema. Você deve dividir seu arquivo de ajuda em alguns arquivos com um tamanho de arquivo resultante de < 25 MB. Lembre-se, o HTMLHelp (CHM's) tem quase 20 anos e o sistema de ajuda da Microsoft baseado no Windows está apenas no "modo de manutenção".
Por favor, tente compilar sem 'Index' e / ou tente reduzir o número de tópicos para menos de 1000.
Tente reduzir o tamanho de suas imagens antes de compilá-las.
Por favor, procure mais informações no seguinte link e leia todas as respostas: Limites de tamanho de arquivo para arquivos CHM (formato de ajuda HTML)?
Veja minha resposta no link também.
Para o formato de arquivo de destino CHM, todas as ferramentas que conheço estão usando o compilador do HH Workshop.
Um utilitário como o FAR HTML pode comprimir e remover o espaço morto em um .chm e reduzir o tamanho do arquivo .chm (mas isso só renderá 10%).