Você .tmux.conf contém alguma linha que defina default-terminal ?
Assumindo que Xshell4 emula o xterm (verifique se $TERM é xterm dentro do seu shell fora do tmux ...
Em seguida, adicione o seguinte ao seu .tmux.conf
# xterm-style function key sequences
setw -g xterm-keys on
Verifique também quais são as variáveis term e ttytype dentro do Vim (dentro do tmux).