Aprenda a usar Shift em vez disso, essa é a maneira comum de inserir uma letra maiúscula.
Se você quiser acertar o Caps Lock de qualquer forma para produzir uma letra maiúscula, observe que há relatos de que o atraso é um problema conhecido (( Bug # 1376903 do Launchpad ). Wiki do Arch Linux descreve um método para remover este atraso que parece funcionar.
Para sua conveniência, este script executa as etapas manuais documentadas nessa página da wiki:
#!/bin/sh
xkbcomp -xkb "$DISPLAY" - | sed 's#key <CAPS>.*#key <CAPS> {\
repeat=no,\
type[group1]="ALPHABETIC",\
symbols[group1]=[ Caps_Lock, Caps_Lock],\
actions[group1]=[ LockMods(modifiers=Lock),\
Private(type=3,data[0]=1,data[1]=3,data[2]=3)]\
};\
#' | xkbcomp -w 0 - "$DISPLAY"
Isso precisa ser iniciado como parte da sessão da área de trabalho (não use o Upstart, por exemplo). Veja este post para um método, não esqueça de habilitar o bit de execução do script.