Você pode configurar um autocommand que é executado quando você abre um arquivo. Se você adicionar isso ao seu .vimrc, isso será feito.
au BufReadPost * if line("'\"") > 1 && line("'\"") <= line("$") | exe "normal! g'\"" | endif
Veja :help last-position-jump ; esta linha é puxada diretamente de lá.