Este é um tiro longo, mas talvez adicionar sleep 5 a ~/.xinitrc , assim:
if [ -f $HOME/.Xmodmap ]; then
{
sleep 5
/usr/bin/xmodmap $HOME/.Xmodmap
} &
fi
Editar:
Parece que ~/.xinitrc não é originado no Ubuntu (com lightdm). Experimente ~/.xsessionrc .