O XMLmind tem uma edição pessoal gratuita. É um pouco desajeitado, mas funciona.
As imagens funcionarão no XMLmind, assim como o svgs (embora você precise adicionar o svg DTD ao seu arquivo)
Se você quiser latex, você terá que gerar imagens e incluir as imagens em seu arquivo docbook, caso contrário, olhe para MathML.