Deve ir para a mesma coluna por padrão. Você já tentou iniciar o Vim como
$ vim -N -u NONE
ou
$ gvim -N -u NONE
e realizando sua experiência novamente?
Uma coisa que pode causar esse comportamento é um plug-in que usa o autocommand CursorHold. Se esse autocommand realizar determinadas ações quando for executado, o cursor se moverá conforme você descreve. Você pode verificar a existência de tais autocommands com
:au CursorHold