Sua melhor aposta é baixar e instalar o gvim.
Se você estiver usando Red Hat, Fedora ou CentOS:
sudo yum install gvim
Se você estiver executando o Ubuntu ou o Debian:
sudo apt-get install gvim
Se você estiver executando o OpenSuse:
sudo zypper install gvim
(Corra no terminal, é claro, não de dentro do vim!)
Se você executar o vim diretamente no xterm, em vez de executar o gvim, o mouse só poderá interagir com o terminal - não diretamente com o vim. Usando vim no xterm você pode selecionar texto com o mouse, mas não mover o cursor, e colar texto pode funcionar de forma imprevisível, especialmente se você não estiver no modo de inserção. O gvim evitará esses problemas.