O Xorg moderno usa a extensão XKB para suportar layouts de teclado. Xmodmap é emulado através de uma camada de compatibilidade, mas tem peculiaridades. Você pode desabilitar o XKB completamente e o Xorg irá voltar a usar os antigos mapeamentos de teclado do Xmodmap. Eu acho que está configurando a opção XkbDisable para true em xorg.conf, mas você provavelmente quer fazer o método XKB. Existem muitas opções configuráveis localizadas em /usr/share/X11/xkb/rules/xorg.xml e eu acho que você quer caps: swapescape que troca Caps Lock e Escape. Tente setxkbmap -option caps: swapescape