Para corrigir isso, eu encontrei Controle de botão do X-Mouse . Usando a opção 'Simulated Keys', mapeei 'Middle button' para 'Mouse Button 4' e 'Mouse Button 4' para 'Mouse Button 5'. Assim, eu recebo meus botões para trás e para frente, onde eu os quero no trackball.
Eu suspeito que se eu tivesse outros dispositivos do tipo mouse conectados ao mesmo tempo, eu poderia não estar feliz com o resultado, mas desde que eu estou usando apenas o trackball agora, ele funciona bem.