Você não pode instalar software desse tipo a menos que esteja "empacotado" para o seu sistema. Você pode querer ver se alguém já criou um pacote para o Ubuntu. Caso contrário, você terá que compilar e instalar manualmente. Não é difícil, mas também não é tão conveniente quanto usar um instalador.
Para instruções básicas de instalação, procure em texinfo-4.11.tar.bz/texinfo-4.11/INSTALL.