O problema parece ser que as configurações de todo o sistema não são salvas. Em combinação com o layout do teclado que está sendo redefinido para a configuração de todo o sistema quando é reconectado, isso redefine meu layout todas as vezes. Então o que me ajudou foi um simples
sudo dpkg-reconfigure keyboard-configuration
que me permitiu definir o layout do teclado em todo o sistema. O UI Xubuntu fornece não ajudou lá por algum motivo.