Estou surpreso que você ainda não tenha descoberto
set -o vi
Isto habilita o modo de edição vi no Bash (para fazer esta permanente colocar o comando no seu arquivo ~/.bashrc ). O Wiki de Greg tem um breve resumo e aqui está um Unix & Questão do Linux sobre suas vantagens .
Esta configuração é para o shell Bash, independentemente do terminal (cujo objetivo é fornecer um contêiner para digitar e ver texto (além de selecionar e colar com o mouse) - além de janelas com guias e algum gerenciamento de janela global, ele deve não interfira com o que está acontecendo dentro dele.
Para habilitar isso para mais alguns aplicativos (baseados em terminal) que usam a biblioteca readline para entrada, você pode colocar isso em ~/.inputrc
# Do what "set -o vi" does in Bash to whatever uses readline.
set editing-mode vi