Só para esclarecer: isso só funciona com o X11, certo?
Não mapeia a chave toda vez que você inicia um terminal. Não faz parte da configuração do terminal em si, mas do X.
Crie o arquivo ~/.Xmodmap
e adicione o seguinte:
remove Lock = Caps_Lock
keysym Caps_Lock = BackSpace
Isso mapeará o CapsLock para o Backspace.
Claro, você pode ligá-lo ao Controle, se quiser.