OK, encontrei a resposta certa aqui link
Vou postar exatamente o que tenho no meu .Xmodmap agora, pois o que eu quero é um pouco diferente da questão vinculada. Eu não quero desvincular o Ctrl direito, apenas para adicionar outro (o Alt correto).
remove Mod1 = Alt_R
keycode 108 = Control_R
add Control = Control_R
Esse é o impacto mínimo no teclado em que consigo pensar. O que ele faz é apenas desvincular Alt_R e vincular Control_R à mesma chave. Isso deve funcionar em qualquer linux, não apenas no Ubuntu, como a questão ligada. Eu testei no Ubuntu, Fedora e OpenSUSE.