Você não precisa desinstalar / remover o dispatcher de fala para obter um desligamento adequado. Basta removê-lo do início / parada automática no momento da inicialização / desligamento do sistema.
Use o comando:
sudo update-rc.d -f speech-dispatcher remove