Isso acontece porque ~/.bashrc é chamado toda vez que você abre um novo terminal. Você deve colocar xmodmap ~/.speedswapper em algum arquivo que é executado depois de efetuar o login em sua máquina. Eu prefiro tê-lo presente em ~/.xinitrc
Uma maneira melhor seria colocar o código de troca em ~/.Xmodmap , que é executado corretamente. Mas sempre foi esquisito para mim.