Tente algo assim:
bind \e\[1~ beginning-of-line
bind \e\[3~ delete-char
bind \e\[4~ end-of-line
Você pode preservar essa configuração adicionando essa opção em fish_default_key_bindings
:
/usr/share/fish/functions/fish_default_key_bindings.fish
Cuidado! Se você tem um erro de digitação com o arquivo de configuração, algumas teclas não funcionam :)
Veja também Teclas Home / End quebradas na tela quando o termo é definido como xterm