Ok, eu consegui resolver esse problema agora e vou postar como eu fiz isso no caso de alguém se deparar com isso no Google a qualquer momento:
No meu caso, eu negligenciei a instalação do speech-dispatcher na instalação. O CD mínimo não inclui isso, como você provavelmente esperaria. Basta executar:
sudo apt-get install speech-dispatcher
Se você ainda estiver com problemas, execute:
sudo apt-get install alsa-base alsa-utils alsa-tools
sudo apt-get install libasound2 libasound2-plugins
sudo alsa force-reload