Se você não tem medo da linha de comando, você pode instalar todas as ferramentas pocketsphinx.
Para listar os pacotes disponíveis:
apt-cache search pocketsphinx
para instalar todos os pacotes relacionados:
sudo apt-get update
sudo apt-get install pocketsphinx*
veja aqui para mais informações:
cmusphinx.sourceforge.net/wiki/
e
cmusphinx.sourceforge.net/wiki/tutorial
finalmente, a parte inferior da página seguinte fala sobre o que você deseja fazer: