Eu estou supondo que o Magic Mouse tem uma abordagem de buggy para voltar. Lembro-me de ver esse problema em alguns lugares com navegadores de celular. É realmente frustrante quando você está consultando uma longa lista de postagens.
Você pode usar Alt-Left para voltar no Chrome, mas, no que diz respeito ao Magic Mouse, eu acho que você terá que enviar um relatório de bug e esperar que ele consiga consertá-lo.