A aparência do seu livro não depende muito da ferramenta que você está usando, mas do seu conhecimento anterior. Um pro designer poderia usar um editor de texto glorificado e ainda fazer um layout melhor do que um novato trabalhando com o InDesign.
O tópico que você está procurando é conhecido como "editoração eletrônica", abreviado como DTP. E sim, a curva de aprendizado do LaTeX é grande, mas o esforço de aprender a fazer DTP com LaTeX é insignificante comparado ao esforço de aprender o que você precisa fazer para que o livro tenha uma boa aparência.
Se você realmente quer aprender, use este manual do LaTeX: link . É gratuito e o LaTeX também é gratuito. Não vai te ensinar como fazer belos desenhos - para isso você precisa primeiro de algum talento e de uma segunda experiência. Mas vai te ensinar o lado técnico. Lá você também aprenderá que tipo de problemas você deve aprender a resolver se realmente estiver falando sério sobre o DTP. (Exemplo: o que fazer se sua quebra automática de página deixar uma única linha em uma nova página, seguida de um cabeçalho?). E não apenas leia e tente memorizá-lo, ou apenas faça os pequenos exercícios lá; faça um projeto de tamanho suficiente (talvez 7-8 páginas de texto) e tente aplicar tudo o que aprender. Então você terá conhecimento técnico suficiente para criar qualquer layout que desejar. Suas únicas restrições serão seu próprio gosto, talento e imaginação.
Naturalmente, existem muitos outros programas para DTP por aí, mas aqueles que realmente podem fazer algo também custam várias centenas de dólares. E só porque eles são WYSIWYG isso não significa que fazer um bom design com eles é mais fácil. É certamente mais rápido, se você é um profissional, mas obviamente não é. O LaTeX é gratuito, aberto, compatível e, em alguns campos (especialmente no meio acadêmico), quase padrão. Além disso, o manual que posso recomendar é para o LaTeX;)
Desejo-lhe boa sorte!