Você faria isso via Xmodmap e não através do seu gerenciador de janelas. Isso está diretamente relacionado ao layout do teclado / mapa de teclas e não ao gerenciador de janelas.
Para alterar seu xmodmap, crie um arquivo chamado ~/.Xmodmap
e adicione o seguinte conteúdo. Isso deve permitir que você digite diretamente com altgr + u
keysym a = a A adiaeresis Adiaeresis
keysym o = o O odiaeresis Odiaeresis
keysym u = u U udiaeresis Udiaeresis
keysym s = s S ssharp section
Depois você tem que aplicar o conteúdo deste arquivo com xmodmap ~/.Xmodmap
Outra maneira de inserir o umlauts é usar o layout internacional dos EUA. Isso permite que você insira umlauts com "+ char. Para entrar, você precisa inserir "a
. O layout internacional também está disponível no Windows e, até onde eu sei, no OSX.
setxkbmap -layout us -variant intl