Acabei de testar ebook-convert do Caliber e ele é executado completamente sem o X11 na linha de comando. É claro que o pacote como um todo depende do X11 e de outras bibliotecas da GUI. Se você não quiser instalá-los (ou se você não quiser usar dpkg --force-depends -i ... e, em seguida, classificar manualmente o que ainda precisa), a única maneira é obter a origem, descobrir quais partes você precisa, e instalar esses.
Há também wkhtmltopdf , mas novamente isso depende de bibliotecas Qt para fazer a renderização, e não tenho certeza de como funciona com ebooks: eu não tentei, e você terá que descompactar o arquivo PRC primeiro.
Se você deseja renderizar gráficos (e converter HTML em PDF significa que você tem para renderizar gráficos, você precisa fazer posicionamento de glifo) alguns tipos de bibliotecas gráficas são inevitável ...