Parece que simplesmente usar a opção de atraso nos itens de inicialização não funciona. Eu fiz exatamente como este post diz e usa:
bash -c "sleep 30;xmodmap ~/Documents/looseScripts/Xmodmap"
em vez de um atraso. No entanto, isso não é muito elegante, pois não tenho idéia do porquê isso funciona. Como tal, espero aceitar uma resposta que seja um pouco menos hackeada.