UPDATE: Eu fiz mais algumas pesquisas e isso aconteceu porque eu tinha meu teclado USB conectado à porta USB do meu monitor. Simplesmente conectando meu teclado na parte de trás do computador consertei. Eu acho que quando o monitor voltar, o Ubuntu o vê como um novo teclado e não sente a necessidade de reaplicar as configurações do .Xmodmap.