O motivo pelo qual os botões 4 e 5 do mouse são "voltar e avançar" é que esses são os botões do mouse que correspondem aos eventos de movimentação da roda de rolagem. Assim, todos os aplicativos que respondem a eventos de roda de rolagem responderão a esses botões.
Você pode usar a opção ButtonMapping na seção do driver X evdev do seu arquivo xorg.conf para mapear seu "mouse 4" para outro evento, por exemplo, "botão 6" e, em seguida, configure o "botão 6" para pressionar para falar.
Veja man evdev para detalhes. Olhe para o seu Xorg.log para descobrir se sua configuração funcionou depois de reiniciar o servidor X.