Você precisa de uma versão do vim que tenha +clipboard
em sua versão. Instale o pacote vim-gnome
e você deve estar bem. (E você não precisa usar o gvim para usar a área de transferência, ele ainda funciona ao executar o vim em um terminal.)