O motivo pelo qual os botões 4 e 5 do mouse são "voltar e avançar" é que esses são os botões do mouse que correspondem aos eventos de movimentação da roda de rolagem. Assim, todos os aplicativos que respondem a eventos de roda de rolagem responderão a esses botões.
Você pode usar a opção ButtonMapping
na seção do driver X evdev
do seu arquivo xorg.conf
para mapear seu "mouse 4" para outro evento, por exemplo, "botão 6" e, em seguida, configure o "botão 6" para pressionar para falar.
Veja man evdev
para detalhes. Olhe para o seu Xorg.log
para descobrir se sua configuração funcionou depois de reiniciar o servidor X.