Acho que a melhor abordagem é usar Ctrl-F/Ctrl-D/Ctrl-B/Ctrl-U
ou qualquer número de alternativas no teclado.
Dito isto, você pode tentar mapear o botão do meio do mouse para a funcionalidade existente em outros botões do mouse:
map <MiddleDrag> <LeftMouse>
Informações adicionais:
Dica do Vim 696: "Arrastar o mouse sem selecionar o texto ou entrar no modo visual"
Editar:
O mapeamento acima funciona bem aqui.
Se você precisar de um controle adicional / melhor, verifique informações adicionais em : help 'mouse' - contém links para outras entradas de ajuda relevantes.
Para lidar com os eventos diretamente (e possivelmente passar para o plugin vim-smooth-scroll) você deve mapear os códigos de teclas gerados pelo mouse. Isso é explicado em * nix em : ajuda MouseDown .