Você pode enviar o sinal SIGTSTP para o vim. Você faz isso pressionando ctrl + z . O Vim será suspenso em segundo plano e você poderá usar o terminal. Digite fg no terminal para continuar com o vim.
Dica de bônus: funciona em quase todas as aplicações do terminal. Use bg para permitir que o aplicativo continue sendo executado em segundo plano.