Eu tive o mesmo problema ao instalar o HTK no Ubuntu 14.04. Eu encontrei a resposta no fórum Voxforge. A configuração foi projetada para computadores de 32 bits, e para instalar você precisa chamar uma bash 32. Digite isso em uma janela de terminal:
linux32 bash
Em seguida, continue com a instalação:
./configure --prefix=/home/yourname/htk
make all
sudo make install
Você também pode precisar instalar o 'libx11-devel' antes de digitá-los:
sudo apt-get install libx11-devel