Você pode usar o CMUSphinx no modo de localização de palavras-chave recentemente implentadas. Faça check-out do pocketsphinx a partir do trunk do subversion e tente a ferramenta pocketsphinx_kws para identificar as palavras-chave. Você pode executar algo assim:
pocketsphinx_kws -kws "oh mighty computer" -infile file.wav
Você também pode ler no microfone.