O arquivo que você deseja é .xmodmap Dê uma olhada em man xmodmap para detalhes sobre como configurá-lo.
O xmodmap usa os códigos de teclas físicas para fazer a alteração. Você pode obtê-los de xev . Inicie, toque nas teclas apropriadas e veja qual o número do código de tecla que aparece.
Você só precisa de duas linhas no seu .xmodmap, ambas com algo parecido com
keycode 49 = grave asciicircum
keycode 15 = <whichever keys are activated in first-level> section plusminus
Esses dois códigos de tecla, por sinal, são palpites e provavelmente errados.