A primeira coisa a fazer é tentar determinar se seus mapeamentos estão definidos como esperado:
:verbose imap <up>
:verbose imap <down>
... etc.
Isso mostrará a você qual é o mapeamento atual do modo de inserção para suas chaves e, se elas estiverem de alguma forma sendo substituídas, onde elas foram definidas.