Parece ser causado pelo fato de o Vim não saber o tamanho da janela pela primeira vez. Depois da primeira vez que funciona bem.
Então, para solucionar esse problema, adicionei isso ao meu .vimrc
:
" Little hack to fix the split/scroll problem
tabnew
bwipeout